一种基于多模态信息的工业场景危险行为识别方法及装置

本发明提供一种基于多模态信息的工业场景危险行为识别方法及装置，涉及工业安全与智能监控技术领域，方法包括：获取工业场景中的多模态信息，其中，多模态信息包括工业场景图像数据和工业场景文本数据；通过视觉编码器，提取工业场景图像数据的图像特征；通过文本分词器，提取工业场景文本数据的文本特征；将图像特征和文本特征进行拼接，得到融合特征；以融合特征作为训练数据，对视觉编码器、多层感知机神经网络以及大语言模型进行联合预训练；结合监督微调算法和混合偏好优化算法，对联合预训练后的大语言模型进行后训练；获取工业场景实时图像数据；将工业场景实时图像数据输入至后训练后的大语言模型，输出工业场景危险行为识别结果。