一种跨尺度多模态的图像融合方法及系统

本发明涉及一种跨尺度多模态的图像融合方法及系统。其中，该方法包括：获取多模态图像数据，对所述多模态图像数据进行时空同步与全局透视对齐；利用通道维度封装图像数据，生成多模态图像的输入张量；通过嵌套瓶颈特征提取，生成原始模态特征图；聚合多感受野全局上下文信息，同时接入并行空间注意力模块，输出多尺度特征金字塔集合；将红外、可见光的多尺度特征沿通道进行拼接，结合动态卷积进行动态门控融合，生成单尺度基础融合特征；修复尺度语义断层，输出跨尺度融合特征；将融合特征输入解耦检测头，优化图像重构、目标分类与框回归任务；基于优化结果进行亚像素像素映射重建，输出跨尺度多模态融合图像；实现了跨尺度多模态的图像融合。