一种基于多尺度多模态特征融合解码的塔机运行环境感知方法

本发明涉及一种基于多尺度多模态特征融合解码的塔机运行环境感知方法，属于智能建造技术领域，具体包括该方法主要基于4D成像雷达采集的稀疏点云数据与监控摄像头采集的视频图像数据，通过两次基于可变形注意力机制的Transformer架构实现对两种模态数据的融合特征提取，同时对两种模态数据进行下采样后重复上述特征提取过程从而实现从不同尺度完善多模态数据的融合特征信息，最后对不同尺度的融合特征信息进行多尺度解码，从而得到最终的塔机环境感知结果，本发明通过对4D稀疏点云数据和视频监控图像数据进行不同尺度的多模态融合分析，进而显著提高塔机运行环境感知问题的识别效率与准确度。