基于梯度解耦的学生模型训练方法和装置

本发明提供一种基于梯度解耦的学生模型训练方法和装置，方法包括：基于教师模型和目标模型分别对训练样本进行的预测，计算差异损失，目标模型包括基于初始学生模型的网络结构确定的第一分支网络和第二分支网络，第一分支网络和第二分支网络之间设置有知识交互模块，差异损失包括任务损失和蒸馏损失；基于任务损失产生的梯度，调整第一分支网络的网络参数；基于蒸馏损失产生的梯度，调整第二分支网络的网络参数；基于参数调整后的第一分支网络和第二分支网络，确定推理用学生模型。本发明能够消除知识蒸馏过程中任务损失和蒸馏损失所产生的梯度之间的相互影响，使学生模型可以学习到更多的知识。