基于大语言模型的多领域知识驱动视觉问答方法

本发明公开了一种基于大语言模型的多领域知识驱动视觉问答方法，首先，通过预训练的视觉问答模型生成多组候选答案及其置信度，其次，利用视觉大语言模型生成图像初始标题，并通过对齐视觉与文本特征从知识库中检索相关文档，结合语义一致性奖励与语言合理性评分构建综合奖励函数；基于该函数对标题进行多轮迭代优化，若评分未达阈值则引入建议生成模块引导语义增强。最后，将优化后的图像标题与上下文示例、候选答案及筛选知识结构化整合为统一模板，输入大语言模型生成精准可解释的答案输出。本发明具备强语义对齐能力与幻觉抑制机制，能够有效提升模型在复杂专业知识背景下的多模态推理性能，适用于医疗、教育等多种专业领域的视觉问答任务。