模型优化方法、装置、设备和存储介质

本申请公开了模型优化方法、装置、设备和存储介质，涉及强化学习技术领域，本申请的模型优化方法中，获取对话任务提示词后，通过待优化模型生成多条候选推理轨迹，经相似度校验筛选得到目标推理轨迹；基于目标推理轨迹、预设轨迹库内的推理轨迹与预配置的基准参考轨迹确定对应总奖励，并转化为优势信号，以此迭代更新待优化模型。这样，在人工智能对话场景下，可以通过多路径采样和差异化筛选不断探索新的解题思路，从而提升推理策略的创新性与解决方案的多样性；并且可以借助基准参考轨迹的约束作用，保证模型在探索过程中维持规范的推理逻辑，避免产生无效的伪探索内容。如此，可以提升大语言模型的创新性。