一种基于多模AI大模型的实验室学生实验操作监控与预警系统

本发明公开了一种基于多模态大模型的实验室学生实验操作监控与预警系统及方法。该系统包括视频采集模块、视频预处理模块、多模态大模型分析模块、异常检测与报警模块、预警信息记录与传输模块以及后台监控与管理模块。系统以每秒30帧的帧率采集实验操作视频，并通过光流法提取显著动作帧形成2秒关键帧序列。多模态大模型采用Transformer结构，融合视觉特征与实验操作规范知识，通过交叉注意力机制实现语义级行为理解，并由语义推理层输出合规性判定及置信度。采用时间窗口滑动平均法进行双重校验，有效降低误报率。进一步地，系统引入局部关键区域加权与光照自适应增强机制，提升模型在复杂光照和反光环境下的识别稳定性。具备高实时性、低误报率和强环境适应性，适用于实验教学场景的智能安全监管。