实现大语言模型参数微调方法的电子设备及存储介质

本申请公开了实现大语言模型参数微调方法的电子设备及存储介质，涉及自然语言处理领域。所述微调方法包括获取预训练模型及其参数矩阵，并在预训练模型的自注意力层设置参数微调模块，参数微调模块包括不同任务类型的LoRA模块和一个路由器，每个LoRA模块包括通用特征矩阵和特定特征矩阵，多个LoRA模块的通用特征矩阵共享；获取微调数据集；加载并冻结预训练模型的参数矩阵，初始化参数微调模块的参数；基于微调数据集对参数微调模块的参数进行微调，得到微调后的大语言模型。本申请显著减少了MoE架构的参数，确保了模型最大限度地捕获各种任务的差异，确保了模型跨任务的泛化性。