一种基于多路相机的AR手势交互方法

本发明提供了一种基于多路相机的AR手势交互方法，通过同步采集四路鱼眼相机图像实现。先进行单路相机检测与追踪获取手部目标区域及2D关键点，采用关键点识别在目标区域内回归21个手部关键点2D坐标，采用KCF追踪策略持续输出手部目标区域。再进行双路深度估计获取3D关键点，对任意两路相邻相机同步采集左右视图，分别获得两组2D关键点，通过已标定的内外参，执行三角测量得到初始3D坐标。然后进行多路融合去除冗余，对多路相机同时检测到的同一图像，利用相机外参将各检测结果投影到同一三维世界坐标系。最终将3D手势映射为AR控制指令。本发明的功能实现主要在手势的21个关键点检测和基于关键点的简单深度测距，计算小，功耗低。