一种基于鲁棒共识学习的无监督跨模态检索方法

本发明公开了一种基于鲁棒共识学习的无监督跨模态检索方法，包括以下步骤：对输入的数据利用预训练主干网络分别提取图像与文本特征，并通过三层投影器获得多层级特征表示；基于顶层特征聚类生成原型作为伪标签，并利用三个层级的轮廓系数计算样本权重，通过分层共识原型对比损失进行优化，最终获得高可靠性伪标签；联合优化噪声容忍三元组对齐损失和模态一致性损失，增强模型对噪声的鲁棒性；在优化后的共享语义空间中实现跨模态检索。本发明采用两阶段训练策略，通过顶层聚类生成伪标签并利用多层语义信息优化样本权重，基于可靠伪标签进行鲁棒学习，解决无监督环境下伪标签噪声和语义粒度失配问题，显著提升了跨模态检索的准确性和鲁棒性。