一种基于对比式在线策略蒸馏的大语言模型对齐方法及系统

一种基于对比式在线策略蒸馏的大语言模型对齐方法及系统，涉及人工智能领域。解决了现有多教师在在线策略蒸馏（OPD）方法中教师目标冲突导致训练信号无效的问题，所述方法构建包含第一域、第二域提示子集的训练提示集，并配置分别对应两领域的第一域教师模型与第二域教师模型。学生模型对各训练提示进行在线策略采样生成响应序列，在逐词生成位置采用top‑k截断式前向KL散度，分别计算正向、负向教师模型与学生模型的逐词KL距离。依据两类KL距离得到逐词对比距离，融合锚定约束项与sigmoid自适应对比项构建COPD对比蒸馏损失函数，仅通过损失梯度更新学生模型参数，教师模型全程冻结，实现精准稳定的模型对齐优化。