一种模型蒸馏方法及装置

本申请提供一种模型蒸馏方法及装置，该方法包括获取固定训练数据集，固定训练数据集中包括多个训练文本序列；通过教师模型指导学生模型基于训练文本序列生成目标响应文本序列，以纠正学生模型输出的响应文本序列中与教师模型输出的响应文本序列中的语义差异；基于多个训练文本序列和多个训练文本序列中各个训练文本序列对应的目标响应文本序列，得到目标训练数据集；基于目标训练数据集和教师模型，对学生模型进行蒸馏训练。本申请通过在序列级别，逐个标记评估教师模型和学生模型输出之间的语义差异，识别并纠正错误，引导学生模型生成更可靠和多样化的样本，提高学生模型的训练效果。