一种基于三维重建的具身智能多模态融合感知背包及感知方法

本发明公开了一种基于三维重建的具身智能多模态融合感知背包及感知方法，感知背包包括背包本体、机械臂、控制舱、主机端、安装于背包本体上的视觉传感器、用于采集环境及物体表面温度分布的热成像相机、集成于背包的机械臂端部的触觉传感器阵列，以及多级数据处理单元；感知方法过程为：在感知背包上集成视觉传感器、深度传感器、热成像相机、触觉阵列传感器和嗅觉传感器；获取视觉与深度信息，实现周围环境的三维重建，结合热成像及嗅觉传感器分别实现温度分布及危险气体感知，从而识别并避开高温或危险区域；同时通过力觉传感数据对携带物体或外部接触目标的特性进行识别与区分，显著提升机器人背负系统在复杂环境下的自主感知与交互能力。