四川具身人形机器人科技有限公司

本发明涉及机器人听觉感知技术领域，具体而言，涉及一种机器人动态声源定位方法及系统、设备、介质，采用本发明提供的方法，主要包括获取机器人头部麦克风阵列的声学信号和颈部关节的实时运动姿态数据；基于所述声学信号估计声源的方向信息，基于实时运动姿态数据建立头部局部坐标系与机器人躯干全局坐标系之间的实时空间变换关系，得到旋转矩阵；将方向信息通过旋转矩阵映射到躯干全局坐标系中，对观测角度进行最优估计。本发明通过引入颈部关节的运动姿态数据，构建头部坐标系到身体坐标系的实时旋转矩阵，有效补偿了因头部转动导致的声源定位漂移，实现了在机器人动态运动状态下的稳定声源追踪。

融合VFT多模态感知的高压开关状态识别方法及系统，应用于具身智能机械臂系统，通过末端执行器在高压开关操作过程中同步采集视觉、触觉及力觉数据，分别表征开关外观状态、接触状态及转动力矩状态；从多模态数据中提取连续时间序列的视觉、触觉和力觉特征点，并映射至统一时间轴形成带时间标记的特征点；在融合时间窗口内，对三类特征点的时序对应关系及跨模态一致性进行联合判断，当二者一致时输出高压开关状态正常。本方案通过时序对应关系与跨模态一致性联合约束，实现对高压开关操作状态的综合识别，即使视觉受遮挡或信息不完整，仍可利用触觉与力觉的补偿信息实现多模态一致性收敛判断，从而有效克服单一视觉识别带来的误判与漏判风险。