面向大语言模型的低秩适配微调方法及其系统、文本处理方法

本发明属于文本处理模型训练相关技术领域，公开了一种面向大语言模型的低秩适配微调方法及其系统、文本处理方法，微调方法包括：在低秩适配层中配置低秩矩阵A、B以及词元自适应矩阵；执行前向传播：将目标层的输入特征一方面直接输入其目标层得到原始输出特征，另一方面输入低秩适配层，先通过进行下采样后再进行对角化处理生成词元对角矩阵，再进行特征提取得到输出特征增量并将其与原始输出特征和叠加；执行反向传播，更新A、B和。通过以上方法，能够提升大语言模型的表现精度与动态适应性。