一种跨具身视觉语言动作模型的训练方法及机器人控制方法

本发明公开了一种跨具身视觉语言动作模型的训练方法及机器人控制方法，涉及机器人控制技术领域，训练方法包括：获取人类第一人称演示数据，提取目标物体位姿轨迹与感知部件相对运动轨迹作为统一动作空间标签；获取机器人演示数据，经两次逆向坐标变换分别生成物体位姿、感知运动的对齐标签；通过统一动作空间标签预训练双头模型，再经对齐标签后训练得到目标模型。控制方法包括：将机器人多模态观测数据输入模型得到两类轨迹，经插值平滑后通过坐标变换与逆运动学求解，控制操作臂与感知臂协同运动。本发明可实现异构数据联合训练，提升跨具身迁移精度与部署稳定性。