基于联邦学习微调和/或优化大语言模型的方法

本申请提供一种用于基于联邦学习微调和/或优化大语言模型的的方法，其包括：至少基于收集的用户关于大语言模型的响应的负面反馈信息构建训练数据集（S1）；利用构建的训练数据集对所述微调辅助模型进行训练，将微调辅助模型接入大语言基础模型，并在训练过程中固定大语言基础模型的第一参数（S2）；在训练至微调辅助模型收敛时，利用大语言基础模型的第一参数和经训练的微调辅助模型的第二参数和聚合嵌入向量更新大语言模型（S3）。根据本申请，通过LoRa技术显著地降低了微调过程的算力消耗，还充分利用从云服务器接收的聚合嵌入向量对大语言模型进行更新，在分享各个端侧设备的训练成果的同时保护用户隐私。