一种基于学习的大模型推理查找表构造方法

本申请涉及大型语言模型推理优化技术领域，公开了一种基于学习的大模型推理查找表构造方法，包括以下步骤：步骤1：获取大型语言模型的原始权重矩阵与校准输入数据，对查找表的量化值进行初始化；查找表为用于存储两个量化值预计算乘积结果的二维数组。通过基于学习的非均匀量化方式确定查找表初始量化值，结合直通梯度估计器实现梯度传递，聚合权重梯度优化量化值；同时将一元函数融合到查找表消除中间量化损失，针对softmax函数设计专用查找表并通过数学变换调整输入值，使量化模型输出与原始模型输出的偏差显著缩小，使量化模型输出与原始模型输出的均方误差损失值显著缩小，满足大语言模型对推理精度的严苛需求。