大模型学习基因提取方法、学生模型训练方法、电子设备及计算机程序产品

本公开提供了一种大模型学习基因提取方法包括：根据预训练完成的教师模型和预设问答对数据集，计算教师模型对预设问答对数据集中各问答对的第一预测概率分布；根据预先训练完成的辅助模型和预设问答对数据集，计算辅助模型对预设问答对数据集中各问答对的第二预测概率分布，并根据第二预测概率分布和第一预测概率分布更新辅助模型的参数，得到更新后的辅助模型；辅助模型与教师模型基于残差连接；根据更新后的辅助模型确定基因模型。基于残差连接的模型架构，通过多阶段知识蒸馏方式提取学习基因，降低模型训练算力开销、存储资源开销、时间成本和误差累积，提高大模型性能。本公开还提供一种学生模型训练方法、电子设备及计算机程序产品。