一种基于三维场景原位选择的机器人人机交互与任务规划方法、系统、设备及介质

本发明实施例提供了一种基于三维场景原位选择的机器人人机交互与任务规划方法、系统、设备及介质，涉及人机交互技术领域，方法包括基于多模态传感器数据生成三维语义场景并呈现在用户终端，根据任务颗粒度、对象尺度及成像质量选择二维图像或三维场景视图模式，对几何元素集合标注，获得标注区域；将标注区域从像素坐标转换为map坐标系下三维标注集合，进行目标提取与约束生成，获得任务描述，进行全局任务规划，通过坐标变换得到局部参考路径集合，并在局部避障与轨迹跟随约束下求解最优控制对，机器人端进行任务执行，回传状态数据并对执行进度与异常区域进行可视化展示。该方案提高了机器人操作控制便捷性、任务规划效率以及准确性。