基于多模态特征融合的四足机器人跑酷导航方法及系统

本发明涉及一种基于多模态特征融合的四足机器人跑酷导航方法及系统，方法包括：构建多模态跑酷地形数据集，包括深度图像、本体感觉信息以及控制指令；对历史时间步的深度图像序列和本体感觉序列进行编码，得到时空融合特征；对控制指令和对应的目标位置向量进行编码，得到历史决策特征；对当前时刻采集到的深度图像进行编码，得到精细空间特征；将时空融合特征、历史决策特征和精细空间特征融合，形成条件上下文；基于扩散策略模型，以条件上下文为条件，进行去噪处理，生成导航控制指令，以完成跑酷导航任务。与现有技术相比，本发明具有导航成功率高、路径规划多样、能有效处理复杂3D地形、克服高层规划与底层运动控制脱节问题等优点。