基于注意力特征异常检测的多模态大模型幻觉抑制方法和系统

本发明涉及一种基于注意力特征异常检测的多模态大模型幻觉抑制方法和系统，方法包括：离线训练阶段：采集训练图像和查询文本输入目标大型视觉语言模型中生成向量，在每个令牌解码步提取注意力特征向量，以作为令牌段样本并分配是否为幻觉的标签，以输入令牌段级幻觉检测模型进行训练；在线推理阶段：给定输入图像和查询文本，由目标大型视觉语言模型进行令牌提取，在每个令牌解码步分别提取注意力特征向量，经过归一化和聚合后输入令牌段级幻觉检测模型中，得到幻觉风险分数，以进行幻觉抑制。与现有技术相比，本发明仅在检测到异常令牌段时按需触发的选择性精准干预，在有效缓解物体幻觉的同时降低对正常生成内容的负面影响。