基于大语言模型微调的任务处理方法、电子设备、介质

本发明公开了一种基于大语言模型微调的任务处理方法、电子设备、介质，所述方法包括以下步骤：获取下游任务相关的训练数据集；给所有的层添加低秩适应模块；设置分层采样策略，包括：根据大语言模型低秩适应微调时各层的权重范数分布确定各中间层的相对重要性，从而设置训练过程中各层的采样概率，通过不放回采样让各中间层在单次训练周期内被均匀地采样到，减少了实际参与参数更新的中间层数，在不降低微调性能的前提下极大减少了训练过程中的显存占用；根据分层采样策略，在大语言模型中动态选择当前训练周期需要解冻的层，并对这些层的低秩适应模块进行参数更新，遍历训练数据集对大语言模型进行微调；将微调后的大语言模型用于执行下游任务。