四川华电内江燃气发电有限公司

融合VFT多模态感知的高压开关状态识别方法及系统，应用于具身智能机械臂系统，通过末端执行器在高压开关操作过程中同步采集视觉、触觉及力觉数据，分别表征开关外观状态、接触状态及转动力矩状态；从多模态数据中提取连续时间序列的视觉、触觉和力觉特征点，并映射至统一时间轴形成带时间标记的特征点；在融合时间窗口内，对三类特征点的时序对应关系及跨模态一致性进行联合判断，当二者一致时输出高压开关状态正常。本方案通过时序对应关系与跨模态一致性联合约束，实现对高压开关操作状态的综合识别，即使视觉受遮挡或信息不完整，仍可利用触觉与力觉的补偿信息实现多模态一致性收敛判断，从而有效克服单一视觉识别带来的误判与漏判风险。