基于候选响应校准的多模态大模型幻觉抑制方法及装置

本发明涉及多模态大模型安全、自然语言生成和图像文本联合理解技术领域，提供了一种基于候选响应校准的多模态大模型幻觉抑制方法及装置。该方法利用当前解码步候选分布的尖锐程度判断模型是否处于不确定状态；在分布不尖锐时，分别构造一个视觉探针通道和一个文本探针通道，计算候选对视觉通道衰减和文本通道衰减的响应；根据候选视觉响应相对于候选文本响应的优势程度执行候选集合内有界校准；校准结果经安全约束检查后输出。该方法在不更新模型参数、不依赖外部检测器和预设对象词表的条件下，降低了多模态生成过程中由语言先验、上下文惯性和细粒度视觉证据不足导致的幻觉输出。