一种基于重要性抽样的直接偏好优化方法及装置

本发明涉及大语言模型的训练和优化技术领域，公开一种基于重要性抽样的直接偏好优化方法及装置，本发明通过引入字符标记级别的重要性抽样机制，有效解决现有直接偏好优化方法将响应序列整体处理导致的优化效率低下问题。本发明利用正向偏好模型、负向偏好模型估算每个字符标记的重要性权重，并对优化目标进行加权，使训练资源集中于关键字符标记，从而在不增加数据标注成本、不改变原有简洁流程的前提下，实现更高效、更稳定、且具备良好可解释性的模型偏好对齐，显著提升大语言模型的优化效率与输出质量。