一种多视角特征融合的可操作部件语义分割方法及系统

本发明属于机器人控制领域，提供了一种多视角特征融合的可操作部件语义分割方法及系统，获取可操作部件的点云数据，生成对应的多视角图像；进行目标检测，为每个视角提取特征，得到二维边界框和语义标签；基于提取到的二维边界框，利用SAM进行处理，获得前景遮罩；基于提取到的二维边界框，利用构建的全局视角交互模块在全局尺度上捕捉不同视角下相同语义目标的关联性，增强特征一致性；利用权重预测网络对全局视角交互模块得到的融合的边界框特征进行处理，预测每个边界框在各超点处的响应权重，将获得的前景遮罩和预测得到的响应权重结合，通过视点信息反投影至3D点云空间，得到最终的3D语义分割结果，本发明提高了分割的准确性。