北京中鑫标科技有限公司

本申请公开了一种机器人局部动作策略梯度计算与更新方法及相关装置，用于优化策略梯度，提升策略网络收敛效率。本申请包括：将机器人的当前状态信息输入策略网络，输出各动作维度的动作指令；当机器人执行动作指令后，获取奖励信号和下一时刻状态信息，并记录轨迹片段；根据轨迹片段和奖励信号计算优势函数，以优势函数对策略网络的梯度进行加权得到加权策略梯度；基于优势函数，计算每个动作维度的局部重要性权重，并根据局部重要性权重确定对应的梯度裁剪阈值；按照每个动作维度的梯度裁剪阈值，对加权策略梯度中属于对应维度的分量分别进行裁剪，得到裁剪后的策略梯度；根据裁剪后的策略梯度，更新策略网络的参数。