一种基于合成图像检索的零样本图像描述方法

本发明提供了一种基于合成图像检索的零样本图像描述方法。通过预训练文本到图像模型生成合成图像集，筛选出高图文语义一致性的样本；以高一致性图像为视觉查询，从训练语料库中检索相关文本特征；将原始文本特征、图像特征及检索到的文本特征输入特征融合网络，通过注意力机制建模并输出条件前缀表示；利用自回归语言模型解码生成描述结果并优化模型参数。推理时，以真实图像替代合成图像执行上述检索与融合流程，获得目标条件前缀表示，进而生成真实图像的文本描述。本发明有效缓解了视觉偏置，提高了零样本场景下的描述精度。