基于词元级特征融合的弹性多位宽Transformer架构量化方法及系统

本发明提供了基于词元级特征融合的弹性多位宽Transformer架构量化方法，属于神经网络模型压缩领域，对Transformer架构模型进行逐块重建，为当前块初始化可训练参数，从高、中、低比特组各采样一个比特，对每个采样比特计算低秩补偿矩阵，计算全精度权重与低秩补偿矩阵的联合量化结果，反向传播更新可训练参数；计算当前块在高比特下输出特征与当前块在低比特下输出特征的余弦相似度，选取设定比例的令牌，生成令牌索引集合，对每个令牌进行判断，拼接所有令牌，得到融合后的特征，输入下一个块，直至完成所有块的重建，输出量化后的模型权重；还提供了量化系统；解决现有Transformer架构多位宽量化方法鲁棒性较低以及存储和计算开销较大的问题。