一种基于多模态协同学习的半监督可见-红外行人重识别方法

一种基于多模态协同学习的半监督可见‑红外行人重识别方法，涉及计算机视觉与多模态机器学习技术。采用带标签可见光图像、无标注红外图像及已有身份级文本描述作为多模态训练数据；通过视觉与文本编码器分别提取图像视觉特征与文本语义特征，利用语义引导跨模态门控多尺度融合模块实现文本与视觉特征双向门控残差调制，生成跨模态联合特征；构建层级语义对齐模块，依托上装、下装、配饰语义实施跨模态协同语义监督，采用渐进双阶段最优传输融合分类概率与特征亲和信息，生成红外伪标签；联合多类监督信号开展半监督协同训练，依据特征相似度完成红外至可见光行人检索。增强多模态特征的语义一致性并提高伪标签可靠性，降低红外身份标注成本。