基于视觉观测的灵巧操作示教数据集获取方法及装置

本发明提供一种基于视觉观测的灵巧操作示教数据集获取方法及装置，该方法包括：根据人手示教视频中的彩色图像和深度图像，初步估计人手示教视频的每一帧中人手和物体的三维位姿。以初步位姿估计结果作为初始值，利用优化目标函数对人手与物体的姿态轨迹进行联合优化，输出人手与各物体的三维姿态轨迹。将人手的三维姿态轨迹进行异构映射生成灵巧手动作序列。利用各物体的三维姿态轨迹对原始轨迹示教数据集进行空间变换得到灵巧操作示教数据集。实现在无需外部穿戴设备的情况下，自动提取灵巧手操作示教数据，显著提升示教数据采集效率，适用于多种复杂操作任务。