一种基于无人机视角的多模态自适应细粒度特征融合方法

本发明公开了一种基于无人机视角的多模态自适应细粒度特征融合方法，包括：对无人机采集的可见光图像和红外图像分别通过单模态特征提取分支进行特征提取，得到两种模态的多尺度特征图；基于两种模态的多尺度特征图，通过计算模态特征的局部区域结构相似性调整权重，构建自适应融合权重矩阵；利用自适应融合权重矩阵，对两种模态的多尺度特征图进行细粒度特征加权融合，在融合过程中先通过插值法匹配权重矩阵与特征图空间尺寸，再执行加权操作，得到融合特征图；基于融合特征图，先通过检测器颈部聚合多尺度特征，再通过检测器头部执行目标分类与边界框回归，输出目标的分类结果和边界框回归结果。本发明能够适配无人机视角的复杂检测场景。