针对大型视觉语言模型空间推理的对抗攻击方法及系统

本发明提出了一种针对大型视觉语言模型空间推理的对抗攻击方法及系统。该方法在灰盒场景下工作，仅利用可访问的开源视觉编码器、图像编辑工具、深度估计器以及模型输入输出反馈完成攻击。该方法主要包括四个步骤：首先，根据原始图像和空间问题生成仅转换空间关系而保持语义元素一致的目标图像；其次，结合视觉特征损失和深度一致性损失生成初始空间对抗扰动；接着，利用受害模型的查询输出和公共文本编码器进行随机梯度估计，对初始扰动进行增强优化；最后，将优化后的扰动叠加到原始图像上得到最终对抗图像，使待测大型视觉语言模型在定性空间关系或定量距离、尺度推理任务中输出错误空间答案，同时尽量保持物体类别、场景描述等语义信息不变。