一种装船机大臂运动的视觉定位与控制方法和系统

本申请提供了一种装船机大臂运动的视觉定位与控制方法和系统，涉及智能控制领域。该方法包括：获取多模态数据；基于多模态数据构建全局坐标系下的标定参数，并对标定参数执行预处理；以预处理后的标定参数为输入，通过扩散网络输出多模态融合特征和多个假设位姿；对多个假设位姿进行虚拟渲染，并基于多模态融合特征和虚拟渲染结果计算每个假设位姿对应的匹配评分；获取匹配评分中小于预设筛选评分的假设位姿作为第一目标假设位姿；基于第一目标假设位姿，通过位姿融合运算计算第二目标假设位姿；基于第二目标假设位姿对装船机大臂进行运动控制操作。本申请解决了传统技术控制方法对装船机大臂位姿精度的控制稳定性低的问题。