一种基于跨模态视觉语义注入的毫米波雷达三维目标检测方法、系统、介质及设备

本发明公开了一种基于跨模态视觉语义注入的毫米波雷达三维目标检测方法、系统、介质及设备，涉及自动驾驶环境感知技术领域。方法包括：同步采集并提取视觉对象查询特征和雷达物理特征；基于动态匹配边界约束，在鸟瞰图平面内界定雷达与视觉特征的正负样本对，计算空间对比损失；基于自车运动补偿机制对齐历史视觉特征，与当前雷达特征匹配，计算时序对比损失；联合两种对比损失优化雷达网络，推理阶段解耦视觉分支，仅靠毫米波雷达点云输出三维检测结果。本发明通过空间与时序对比学习，将视觉语义高效注入雷达网络，在推理阶段实现了不依赖视觉传感器的、高精度、高鲁棒性的纯雷达三维目标检测，尤其适用于雨雾、粉尘等光学退化环境。