蚂蚁科技集团股份有限公司

本发明涉及人工智能安全与多模态学习技术领域，尤其涉及一种基于梯度诱导的多模态GUI Agent图像层白盒对抗攻击方法。该方法首先预设双重攻击目标，并构建融合文本语义偏差损失与空间坐标偏移损失的联合优化目标函数；在预设扰动幅度约束下，将联合目标函数的梯度从模型输出层反向传播至输入原始 GUI 图像，逐次更新得到优化后的对抗扰动；将优化后的对抗扰动叠加至原始 GUI 图像，生成对抗样本；利用对抗样本对 GUI Agent进行安全性评估。本发明为多模态GUI Agent的安全性评估提供了一种极端的压力测试手段，可以有效发现和量化视觉语言模型在感知层面的本质脆弱性，为后续的防御策略研究和模型安全性改进提供重要参考。