一种基于实例感知的红外与可见光图像融合方法及系统

本申请公开了一种基于实例感知的红外与可见光图像融合方法及系统，涉及图像处理技术领域。所述方法包括：输入红外图像和可见光图像；基于红外图像和可见光图像生成红外语义掩码和可见光语义掩码，将红外图像及其语义掩码和可见光图像及其语义掩码分别输入对应的判别器；利用图像融合模型融合红外图像和可见光图像得到融合图像；由判别器在语义掩码的引导下分别计算融合图像的红外差异和可见光差异；基于红外差异和可见光差异更新融合模型的参数得到训练后的融合模型；将待融合的红外图像和可见光图像输入训练后的融合模型，得到融合后的图像。本申请有效避免了模态特征混叠带来的反向传播梯度冲突，显著提升生成器的模态区分能力与融合质量。