蒸馏模型知识的方法、相关装置及计算机程序产品

本公开提供了蒸馏模型知识的方法、相关装置及计算机程序产品，涉及深度学习、蒸馏训练、训练样本优化等人工智能技术领域。该方法的一具体实施方式包括：基于学生模型的当前状态参数和学生模型处理样本输入生成的学生模型输出，生成针对学生模型输出的质量评价参数；响应于质量评价参数大于第一参数阈值，通过教师模型生成学生模型输出的输出评分；基于输出评分，对学生模型进行训练；响应于用于监督对学生模型训练过程的损失函数达到训练目标，结束训练，得到由学生模型训练得到的目标学生模型。由此，不仅能够降低对教师模型资源使用和模型能力的要求，使更多模型能够通过蒸馏方式完成压缩和轻量化，还能够提升模型知识蒸馏过程的效率与质量。