基于多模态感知的物资检测作业行为识别方法及系统

本发明提供了基于多模态感知的物资检测作业行为识别方法，属于人工智能与电力运维检测领域，对预处理后的视觉、动作、语音模态数据分别进行特征提取，得到视觉、动作、语音模态特征，将视觉、动作、语音模态特征输入训练后的细粒度行为分割网络，多模态输入层用于对视觉模态特征、动作模态特征、语音模态特征进行加权融合，得到多模态全局特征表示，时序建模层用于对多模态全局特征表示进行逐帧分析与标注，输出隐藏状态序列，分类输出层用于对隐藏状态序列进行分类，识别出行为类别；将行为类别与预设标准操作规程进行匹配对齐，判定作业行为是否存在异常；还提供了识别系统；实现作业过程的精准识别与合规性评估。