基于偏好树的开放域过程奖励模型构建方法及装置

本申请涉及一种基于偏好树的开放域过程奖励模型构建方法及装置，其中，方法包括：通过利用现有的结果式奖励模型，结合并行采样和句子聚合策略，构建过程偏好树；将结果式奖励模型的结果级奖励回传到过程级、在关键分歧步骤施加强化监督的联合建模机制，以从理论与实践上降低过程监督的累积误差。由此，解决了现有技术无法在开放域低成本、可扩展地获得过程级监督，也难以使其与结果级评价协同等问题。