一种基于多模态特征融合的电力作业场景识别方法

本发明公开了一种基于多模态特征融合的电力作业场景识别方法，包括：将作业图像帧输入预训练目标检测模型，获得关键场景要素的检测结果并进行对象级特征编码，获得对象级检测特征矩阵；对工作票图像进行文字识别与字段解析，并经预训练文本编码模型获得工作票特征矩阵；将作业图像帧输入预训练视觉编码模型，获得图像模态特征矩阵；将对象级检测特征矩阵、工作票特征矩阵和图像模态特征矩阵输入多模态融合多标签分类模型，采用基于双重交叉注意力的多模态融合机制，得到多模态融合特征矩阵，并经全局平均池化后输入多标签分类器，输出各类电力作业安全监管场景的预测概率。本发明具有多模态融合性强、识别精度高、可解释性好及实时性好的优点。