基于多模态交互数据的混合现实交互方法、系统及设备

本发明提供一种基于多模态交互数据的混合现实交互方法、系统及设备，基于多模态交互数据的混合现实交互方法包括：数据获取步骤，获取多模态交互数据；模式判断步骤，基于多模态交互数据，判断混合现实环境的当前交互模式；指令生成步骤，基于当前交互模式，生成包含动作标识及操作参数的控制指令；服务调用与执行步骤，将控制指令发送至外部服务器，外部服务器解析控制指令，并基于动作标识，调用对应的目标服务对操作参数进行处理，以生成交互反馈结果；交互反馈步骤，将交互反馈结果返回至混合现实设备，以驱动混合现实环境中的虚拟引导对象与用户进行交互。