一种基于轨迹感知文本引导的视觉-语言预训练模型的对抗样本的生成方法

本发明涉及一种基于轨迹感知文本引导的视觉‑语言预训练模型的对抗样本的生成方法，包括：采集原始干净图像及其配套的原始文本；基于原始干净图像与各轮对抗图像构建干净图像嵌入特征和轨迹感知视觉锚点特征作为视觉参考，基于视觉参考采用贪心逐替换策略优化原始文本得到对抗文本；基于对抗文本和基准文本构建分阶段引导文本，基于分阶段引导文本构建融合原始干净图像和各个方向的几何形变的聚合梯度函数，基于聚合梯度函数对原始干净图像进行多次迭代更新，得到对抗图像；融合图像侧稳定优化与文本侧轨迹感知引导模块，交替更新图像与文本，生成图文对抗样本用于评估VLP模型的迁移攻击风险，为提升视觉语言多模态分类模型的鲁棒性提供支持。