基于状态感知表示学习的无人机跨模态目标跟踪方法

本发明公开了一种基于状态感知表示学习的无人机跨模态目标跟踪方法，属于计算机视觉技术领域，该方法通过构建状态感知跟踪网络，引入模态状态token与空间状态token，分别引导模型感知模态切换带来的外观变化与空间位置偏移；网络采用单分支Transformer架构，结合掩码注意力机制，实现跨模态外观特征与跨帧空间特征的融合，并通过多头部预测网络并行输出分类、定位与位移预测结果；本发明有效解决了无人机在模态切换下面临的外观突变与空间跳变问题，提升了跟踪的鲁棒性与效率，适用于资源受限的无人机边缘设备。