一种基于图文语义冲突的视觉语言模型指纹嵌入及验证方法

本发明公开一种基于图文语义冲突的视觉语言模型指纹嵌入及验证方法。将训练图像原始文本中的真实对象类别替换为不一致的声明对象类别，并插入所有者控制的文本触发标记，构造正指纹样本；同时构造冲突负样本、触发标记负样本和干净样本，通过监督微调使模型仅在文本触发标记与图文语义冲突共同成立时输出包含所有权验证标记的响应。所述响应可由正常语义响应附加短所有权验证标记形成。验证时，利用与正指纹样本不重合的验证图像构造集合外语义冲突验证查询，根据待验证模型的水印匹配率及干净模型的基线匹配率生成所有权验证结果。本发明降低对固定触发集的依赖，并提高集合外验证和触发集泄漏条件下的保持性。