一种基于RGB图像与深度图像融合的料包视觉识别与位姿确定方法、系统及设备

本发明公开了一种基于RGB图像与深度图像融合的料包视觉识别与位姿确定方法、系统及设备。该方法获取目标场景的RGB图像、深度图像及有序点云后，分别对RGB图像和深度图像进行实例分割，获得RGB实例集合和深度实例集合；将各实例掩膜映射至统一点云坐标空间并计算交并比，建立跨模态关联关系；根据关联关系对实例进行融合生成融合掩膜，其中当一个深度实例对应于多个RGB实例时，以RGB掩膜对深度掩膜进行切分，实现粘连目标分离；依据融合掩膜从有序点云中提取目标点云并计算中心位置、尺寸及姿态角；最后按预设规则排序输出。本发明通过双模态独立检测与实例级融合，提高了复杂堆叠场景下料包识别的精度与粘连分离能力。