模型更新方法、模型推理方法、系统、装置及相关产品

本公开提供了一种模型更新方法、模型推理方法、系统、装置及相关产品，涉及机器学习领域和人工智能领域，具体涉及大模型强化学习领域、智能体后训练领域及分布式模型训练领域，该方法包括：获取推理轨迹数据，其中，推理轨迹数据包括模型推理框架输出的词元序列中的多个词元以及各词元的推理对数概率、训练掩码和推理权重版本；根据训练掩码，从多个词元中确定出参与训练的目标词元；根据训练模型的当前权重，确定目标词元的行为概率；基于目标词元的推理权重版本、推理对数概率和行为概率，更新训练模型的模型权重。应用该方法能够有效消除大模型在训练与推理间的概率与路由偏差，提升强化学习训练的稳定性和收敛效率。