多模态图像融合方法、装置、电子设备及存储介质

本申请提供一种多模态图像融合方法、装置、电子设备及存储介质，属于图像增强技术领域，所述方法包括：将红外图像与对应的偏振图像输入至多模态图像融合模型，多模态图像融合模型对红外图像与偏振图像分别进行低秩分解，得到低秩红外图像和低秩偏振图像；基于低秩红外图像，对低秩偏振图像进行引导滤波，得到增强偏振图像；使用自注意力机制，对低秩红外图像和增强偏振图像分别进行深度特征提取，得到红外特征与偏振特征；将红外特征与偏振特征融合后，对融合特征进行解码，得到多模态融合图像。本申请通过低秩分解降低配准依赖，通过引导滤波增强细节和抑制噪声，通过自注意力机制实现特征的自适应融合，最终实现在弱配准下的鲁棒性图像融合。