面向高风险作业的多模态行为识别与合规判断方法及系统

本发明属于高风险作业安全监测技术领域，涉及一种面向高风险作业的多模态行为识别与合规判断方法及系统，包括获取高风险作业区的可见光图像和安全规范数据，对可见光图像预处理得到标准可见光图像，并构建多维度的结构化合规文本规则库；提取标准可见光图像中的可见光行为特征及多维度的结构化合规文本规则库中的合规文本语义特征；将二者进行动态加权融合，得多模态特征向量；将合规文本语义特征转化为可计算判定指标，将其与多模态特征向量进行对比，根据对比结果触发预设的不同级别风险预警；基于多维度的结构化合规文本规则库，对触发风险预警的多模态特征向量进行违规校验，得到违规原因，实现高风险作业行为的自动化识别与全流程合规判断。