一种基于低秩注意力修正的红外与可见光模型适配方法

本发明属于计算机视觉技术领域，涉及一种基于低秩注意力修正的红外与可见光模型适配方法，包括：获取红外图像和可见光图像；将可见光图像输入嵌入层，得到第一可见光特征令牌；对红外图像进行差分，得到先验信息；将先验信息和当前可见光特征令牌输入当前低秩注意力修正模块，得到修正后的当前可见光特征令牌；将输入当前编码器层，得到下一可见光特征令牌；重复上述步骤，直到得到最后一层编码器层输出的可见光特征令牌；将输入目标任务解码器，得到预测结果；本发明通过引入低秩注意力修正模块，可高效地为可见光预训练视觉模型引入来自于红外模态的先验信息，从而大大提高红外与可见光领域模型的可扩展性和实用性。