多模态视觉伺服四自由度实验记录云台装置及控制方法

本发明公开了多模态视觉伺服四自由度实验记录云台装置及控制方法，装置包括云台端、滑轨操控端和上位机端；云台端设有第一主控单元、姿态感知单元、电机驱动单元、视觉处理单元及执行单元；滑轨操控端设有第二主控单元、用户交互单元、通信单元及水平驱动单元；上位机端通过网络通信链路与视觉处理单元连接。方法包括：在系统初始化后，根据用户选择或场景自动触发进入不同模式；视觉处理单元采集图像，通过轻量化神经网络进行多模态目标识别，并结合轨迹预测模型处理遮挡；第一主控单元根据目标位置解算姿态偏差，动态调整控制参数驱动执行单元；第二主控单元根据目标水平位置判断是否启动滑轨协同移动，并在触达限位时执行安全复位。