一种融合多模态数据的电铲周围多目标识别方法、装置、设备及介质

本申请公开了一种融合多模态数据的电铲周围多目标识别方法、装置、设备及介质，涉及目标检测领域。通过对信息数据进行预处理，并基于语义分割网络进行语义掩码的确定，以及进行图像到点云的跨模态交互；根据运动增量和多模态数据关键特征，确定电铲周围各检测目标的运动轨迹集合和检测框，并采用自适应权重优化机制，基于总损失函数进行检测框以及对应移动轨迹优化；采用LM算法以多任务损失体系的总损失函数最小为目标进行迭代优化，确定二次优化检测框轨迹信息和二次优化后的检测框，使得多模态时空深度融合检测器能够贴合电铲周围各检测目标对应的外观检测框，实现三维目标的感知检测识别。本申请可实现多模态时空深度融合，提高检测精度。