基于双Fisher矩阵引导的垂直领域大模型隐私遗忘方法、终端

本发明涉及人工智能和隐私保护技术领域，公开了基于双Fisher矩阵引导的垂直领域大模型隐私遗忘方法、终端，该方法从垂直领域大语言模型的原始训练语料库中，分离出两个文本序列数据子集，即保留数据集和遗忘数据集；保留数据集包含不含隐私信息的垂直领域专业数据，遗忘数据集包含待消除的隐私敏感数据。基于信息几何理论，分别在保留数据集和遗忘数据集上计算模型参数的保留Fisher信息矩阵和遗忘Fisher信息矩阵。基于保留Fisher信息矩阵和遗忘Fisher信息矩阵的协同分析，构建参数遗忘引导函数，计算模型所有参数的引导函数值，据此构建标准化引导向量。本发明实现了大语言模型隐私遗忘在隐私消除和能力保持两个层面的精细化平衡。