一种大模型灵活低秩训练后量化方法和系统

本发明属于计算机科学技术领域，涉及一种大模型灵活低秩训练后量化方法和系统。该方法包括：获取大模型的每一层对应的激活值；对激活值进行最大最小值下的归一化，得到数据分布缩放数组；利用数据分布缩放数组对当前权重W进行通道方向的缩放，得到缩放后的权重数组W；对缩放后的权重数组W应用最佳秩选择算法，得到低秩近似矩阵W；对残差矩阵R＝W‑W进行裁剪和量化，得到量化矩阵W；计算当前W和W对应的量化误差，将最小量化误差对应的量化矩阵W和低秩矩阵W作为低秩量化结果。本发明能够自适应灵活选择秩，能够提升量化精度，加快量化速度并降低计算开销，适合大规模模型部署。