基于跨模态特征对齐及交叉融合的目标检测识别方法

本发明公开了一种基于跨模态特征对齐及交叉融合的目标检测识别方法，方法包括：构建包含骨干网络、颈部网络、融合检测层的双模态目标检测模型，骨干网络进行特征提取得到可见光特征与红外特征；骨干网络的跨模态对齐与增强模块先进行双模态特征对齐空间校正，再进行跨模态双向信息交互，接着进行互补增强处理得到增强可见光特征与增强红外特征；流颈部网络进行多尺度的特征提取并输入融合检测层，融合检测层通过旋转检测头利用融合特征输出目标检测结果。本发明有效校正可见光与红外特征的空间偏移，充分挖掘双模态互补特征提升了无人机航拍全天候复杂场景下旋转目标的检测精度与鲁棒性，解决了传统多模态检测对齐效果差的缺陷。