基于软融合补充的多模态交互目标检测方法、系统及可读存储介质

本申请涉及多模态目标检测技术领域，尤其涉及一种基于软融合补充的多模态交互目标检测方法、系统及可读存储介质。使用双流骨干网络提取多模态特征，在特征提取的各个层之后加入软融合补充多尺度交互模块，其包含一个跨模态软融合模块以及两个多尺度交换门控模块；利用跨模态特征软融合模块形成融合特征，为两个分支补充模态缺失信息，增加跨模态特征的耦合性；补充后的双分支特征通过多尺度交互门控模块自适应增强显著性区域；改进特征提取最后一层的融合时机进一步提升深层语义下跨模态的全局对齐，从而避免双分支差异大、某一分支失效时抗干扰能力弱的问题。旨在解决如何抑制噪声在层级传递以及交互能力由于特征缺失而下降的问题。