一种基于Transformer架构的RGB-T目标跟踪方法和装置

本发明属于RGB‑T目标跟踪技术领域，具体涉及一种基于Transformer架构的RGB‑T目标跟踪方法和装置。获取待跟踪的可见光图像和红外图像序列，均提取相应的模板帧和搜索帧；将提取结果输入至训练好的目标跟踪模型中得到目标在各搜索帧中的位置；其中，目标跟踪模型包括改进的共享权重的双分支Vision Transformer编码器、预测头；改进包括在编码器的中深和深层插入双向频域引导机制，该机制用于：基于输入的两个模态特征分别提取RGB模态特征中的高频分量和TIR模态特征中的低频分量，进而基于高频分量在空间上对TIR特征进行校准，并基于低频分量通过通道调制来锚定RGB高频细节。本发明显著提升了在光照剧烈变化、目标形变及背景杂乱等复杂场景下的跟踪鲁棒性与定位精度。