一种基于知识增强的多模态大模型深度伪造检测方法及系统

本发明公开一种基于知识增强的多模态大模型深度伪造检测方法及系统，属于计算机视觉技术领域。该系统包括：数据集构建模块，用于构造包含真实图像样本与伪造图像样本的实例数据集；实例引导模块，用于依据测试图像，从实例数据集中检索出若干实例数据，并基于实例数据与实例数据的标签，得到真伪判别逻辑；知识增强模块，用于对测试图像、结构化鉴伪先验知识以及真伪判别逻辑进行编码融合，得到知识增强结构化提示；模型推理模块，用于将知识增强结构化提示转换为多模态大模型可识别的输入格式之后，输入至多模态大模型中执行多维度推理，得到测试图像的检测结果。本发明可提升模型对未知伪造类型的泛化能力，输出具备可解释性的检测结论。