模型权重的量化方法、电子设备及程序产品

本公开提供了一种模型权重的量化方法、电子设备及程序产品，涉及计算机技术领域。本公开的模型权重的量化方法包括：将大语言模型的全精度权重矩阵进行分块处理，并计算每一权重块的重要性分数；根据各权重块的重要性分数，通过贪心优化算法为各权重块分配量化比特宽度；对全精度权重矩阵进行幅度均摊处理，并根据幅度均摊处理后的全精度权重矩阵中权重元素的Hessian属性，对量化参数进行优化，得到消除离散分布的异常值后的全精度权重矩阵和优化后的量化参数；以及根据量化比特宽度、消除离散分布的异常值后的全精度权重矩阵以及优化后的量化参数，计算全精度激活输出与量化激活输出的差异，并进行层级反馈去噪补偿，得到目标量化权重矩阵。