北京视线科技有限公司

本发明公开了一种混合现实空间交互指令解析与分发方法，包括以下步骤：S1：采集用户的手势关节姿态数据序列、眼动注视点数据序列以及语音数据流；S2：构建多模态时空图；S3：将多模态时空图输入时空图卷积网络模型中，输出意图目标点在三维空间中的预测区域；S4：对语音数据流进行实时语音识别与语义解析，得到辅助语义指令，并生成融合语义的意图概率分布值；S5：确定唯一的目标交互对象，并生成空间交互指令；S6：计算队列中各指令的动态优先级权值。本发明通过构建多模态时空图，使整体在用户伸手过程的早期阶段即可稳定输出交互意图的类别概率值和意图目标点的预测区域，降低了因时序信息缺失导致的意图跳变与误触发。