一种基于空间关系推理的多模态指令解析与执行方法及系统

本发明涉及一种基于空间关系推理的多模态指令解析与执行方法及系统，属人机交互领域。其中，该方法包括获取自然语言指令和场景图像，进行意图识别并输出意图列表，意图列表包括主要意图、目标对象和空间关系关键词；基于意图列表构建空间关系推理引擎，并输出目标位置坐标；基于意图列表和目标位置坐标进行动作规划并输出最优路径和最优动作序列，动作规划包括路径规划和动作调度；基于最优路径和最优动作序列生成控制指令；通过视觉分析评估控制指令的执行结果并进行自适应调整。本发明通过多模态融合和空间关系推理，实现多模态指令解析与执行，改善指令解析的准确性、增强环境适应性，并提升执行效率。