基于对抗学习和特征一致适配器的跨模态目标跟踪方法

本发明公开一种基于对抗学习和特征一致适配器的跨模态目标跟踪方法，构建的跨模态目标跟踪网络FCTrack包括模态感知模块、特征一致适配器、跨模态特征融合模块、Transformer编码器和跟踪预测模块；将待处理图像序列、对应的RGB模板图像、NIR模板图像输入跨模态目标跟踪网络FCTrack通过感知模块根据光照强度的不同，在同一时刻仅有RGB或NIR其中一个模态的输入网络，挖掘两种输入模态之间的关系，克服现有方法对局部特征的过度依赖，增强了模型对长距离依赖和复杂关系的建模能力，通过特征一致适配器弥合了模态间的差异，有效解决了现有方法在跨模态目标跟踪中面临的异质性挑战，提升跟踪器在NIR场景下的适应能力。