基于LoRA的红外与可见光统一基础模型预训练方法及装置

本发明提供了一种基于LoRA的红外与可见光统一基础模型预训练方法，包括：获取大规模可见光预训练的VIT模型，构建双模态对齐的图像对数据集；冻结VIT权重，在其编码器注意力层、前馈网络层及输出投影层插可训练低秩适配矩阵；输入双模态图像，从冻结VIT网络中提取可见光特征生成二值块级伪标签；通过第一损失函数优化红外与冻结可见光特征的余弦相似度矩阵与伪标签一致性，以实现跨模态对齐训练，通过第二损失函数优化训练分支与冻结VIT可见光特征的相似度矩阵与伪标签一致性，以实现可见光知识保持训练；合并低秩矩阵与VIT权重，加分割或检测头微调得目标模型。如此，本发明能够显著降低预训练的计算与存储开销，并且模型检测精度明显提升。