一种基于表征空间偏移的大语言模型机器遗忘算法

本发明公开了一种基于表征空间偏移的大语言模型机器遗忘算法，包括：构建遗忘集和保留集，使用知识探查数据集对大模型执行因果追踪，识别对模型正确预测具有显著贡献的前馈神经网络以确定为遗忘层；使用保留集近似估计输入特征空间，基于该特征空间构造零空间投影矩阵；输入遗忘集和保留集，获取训练模型和原始模型在最后一个遗忘层的表征输出，并通过损失函数导出参数更新梯度；将更新梯度经零空间投影变换后更新所有遗忘层中前馈神经网络的最后一个线性变换矩阵。本发明利用大模型中前馈神经网络的知识存储特性，通过在表征空间中引导知识去除，实现精准遗忘的同时有效抑制对非目标知识的干扰，显著提升大模型机器遗忘过程的有效性与可控性。