一种长程视觉问答与多模态推理任务智能体构建方法

本公开提供一种长程视觉问答与多模态推理任务智能体构建方法。对于输入图像与自然语言问题，通过外部工具集合的有序调用，生成答案；智能体的构建过程分为三阶段：全局规划阶段，通过全局规划导航器通过分析用户需求，并筛选出工具子集；工具自主执行阶段，通过工具自主执行器围绕三类工具在多步过程中补充视觉细节、检索背景知识与进行精确运算，并把返回工具结果以辅助下一步的决策；响应合成阶段，通过模型响应合成器梳理推理过程，并整理程用户友好的、格式清晰的响应；最终由模型响应合成模块从推理轨迹中提炼得到答案输出。以解决现有多模态大语言模型在复杂任务推理中普遍存在的全局规划不足与视觉上下文遗忘问题。