双重对齐极大极小优化的智能体离线强化学习方法及装置

本公开提供了一种双重对齐极大极小优化的智能体离线强化学习方法及装置，包括：根据智能体强化学习的目标和线性规划的对偶理论，确定智能体离线强化学习目标的对偶形式；根据智能体离线强化学习目标的对偶形式、训练策略与行为策略之间的KL散度约束，确定带正则项的优化目标；定义凸函数，根据凸函数的f散度确定KL散度的上界，并根据KL散度的上界，替代带正则项的优化目标中的KL散度项，确定代理目标；其中代理目标包括：数据对齐项和行为对齐项；将行为对齐项转换为极大化共轭函数形式，并将极大化共轭函数形式代入代理目标，根据强化学习的对偶理论，确定双重对齐极大极小优化目标；其中，采用最优分类器估计数据对齐项。