对比学习的视觉语言预训练模型可迁移对抗样本生成方法

本发明属于人工智能技术领域，公开了一种基于对比学习的面向视觉‑语言预训练模型生成可迁移对抗样本方法，包括针对视觉‑语言预训练模型数据增强得到的图像‑文本对集合进行区分，得到正样本集合和负样本集合；在正样本引导对抗样本生成过程中，引入负样本进一步丰富对抗样本多样性，从而最大限度地实现跨模态交互；在对抗样本迭代生成过程中，通过结合正样本学习、负样本学习和对比学习三种不同类型的学习方式，引导生成可迁移性的视觉‑语言预训练模型对抗样本。其中，通过融合三种学习方法生成的对抗样本在不同的视觉‑语言预训练模型和不同的视觉‑语言预训练模型下游任务中表现出更好的可迁移性。