基于视觉-语言多模态协同的单流目标跟踪方法

本申请涉及视觉算法技术领域，具体是一种基于视觉‑语言多模态协同的单流目标跟踪方法，包括如下步骤：根据初始帧给定的目标的位置信息以及语言描述信息，将视觉模板、视觉搜索区域输入补丁嵌入，将语言提示输入到文本标记器中进行数据预处理；根据得到的搜索区域视觉特征集，使用特征聚合器为每个视觉数据学习多个嵌入，计算每个视图的视觉嵌入与文本嵌入之间的匹配分数筛选出最能代表目标特征的视图。本申请通过动态视图筛选机制净化视觉特征、多模态对齐融合及模板更新策略实时优化视觉与语言表征，使系统能自适应目标外观变化，具有能够动态适应目标状态变化、提高跟踪鲁棒性和精度的优点。