一种面向大语言模型的低秩适配微调方法及其系统

本发明属于文本处理模型训练相关技术领域，公开了一种面向大语言模型的低秩适配微调方法及其系统，方法包括：低秩适配层设置有低秩矩阵A、B和调控矩阵，低秩矩阵A被划分为b个矩阵块，低秩矩阵B被划分为b个矩阵块，调控矩阵被划分b×b个对角矩阵块；前向传播时一方面将输入特征直接输入目标层得到原始输出特征，另一方面将输入特征划分为b个子特征后输入低秩适配层并行计算后拼接作为输出特征增量；反向传播更新低秩适配层中的参数；计算权重增量矩阵并将其叠加至原始权重矩阵，得到微调后的大语言模型。本发明可以实现低秩适配微调的轻量化并保证大语言模型的表现精度。