基于多模态大模型与知识库的电力作业违章溯源监控系统

本申请涉及电力作业监控技术领域，公开了基于多模态大模型与知识库的电力作业违章溯源监控系统，包括：视频采集与预处理模块，用于获取视频流并动态调整处理帧率；多模态违章检测模块，用于通过一个经低秩适应微调且采用含相对位置约束损失的混合损失函数训练的多模态大模型，识别视频帧中的违章行为，并输出包含量化空间关系参数的结构化检测结果；安全知识库联动模块，用于接收检测结果，在结构化安全知识库中执行混合检索以匹配规程条款、风险等级和处置建议。本发明解决了现有技术难以识别涉及空间关系的复杂违章、缺乏自动化溯源与闭环管理等问题，能够实现对电力作业违章行为的自动化、量化识别与智能化闭环管理。