基于多模态图神经网络的保护性行为识别方法

本发明涉及行为识别领域，具体涉及一种基于多模态图神经网络的保护性行为识别方法。方法包括：获取待识别对象的三维骨骼序列及对应的表面肌电信号，并预处理；然后获取每个关节的位置、速度、加速度和骨骼向量特征；分别利用为每类特征构建的共享骨架结构的图卷积编码器提取每类特征的结构表示，并加权聚合，生成运动结构表征；将表面肌电信号的通道作为节点加入骨骼图，构建异构图，并依据肌肉作用区域建立跨模态连接边，采用图交互注意力机制实现跨模态特征融合；采用时间卷积网络对融合后的特征进行跨帧时序建模，全局平均池化后，通过两层全连接网络进行保护性行为识别。本发明能够显著提升检测性能，为慢性疼痛康复提供临床辅助支持。