一种基于实例增强与因果干预的图文跨模态检索方法

本发明公开了一种基于实例增强与因果干预的图文跨模态检索方法，属于多模态学习技术领域。针对现有的图文跨模态检索方法在处理图文数据语义对齐时面临着无法有效解决共现偏差的问题，通过对成对图像‑文本数据进行一系列预处理并划分数据集；通过实例增强机制，结合实例内上下文强化与实例间关联交互，增强特征表达，缩小模态间的语义鸿沟；采用嵌入解耦技术区分因果成分与干扰成分，构建反事实样本优化提升模型判别鲁棒性；构建包含语义关联稳定性损失、实例增强损失、嵌入解耦损失及反事实损失的目标函数优化模型。本发明有效削弱图文数据中背景信息的干扰，精准捕捉深层语义关联，在智能检索、内容推荐等场景下展现出更强的泛化性与鲁棒性。