基于多模态视觉模型的智能视频监控预警方法及系统
本发明提供一种基于多模态视觉模型的智能视频监控预警方法及系统,方法包括在改进后的YOLOv8算法中引入低秩分解注意力机制以及改进型注意力机制,以得到检测模型;基于检测模型对视频中的特定目标进行检测;采用ByteTrack算法对特定目标进行跟踪,并裁剪出特定目标的图像;采用SlowFast算法对图像进行短时序的动作识别;采用Qwen‑VL多模态推理模型分析视频的长时序的内容,并将分析后的长时序内容与RAG知识库结合,以实现动态的异常判断。本发明能够达到有效持续跟踪的目的以及进行短时序动作识别和长时序内容分析,并且能够有效实现动态异常判断。