검색으로 돌아가기
기록
基于多模态视觉模型的智能视频监控预警方法及系统
발명유효
6조회수
10청구항 · 4 독립항
§ Ⅰ
개요
발명자
林国丞; 高小林; 黎明; 吴业云; 易星; 李聪聪; 王炳琨; 汝春波
IPC 분류
G06V 20/52 (2022.01)G06V 20/40 (2022.01)G06V 10/82 (2022.01)G06N 3/0464 (2023.01)G06N 3/045 (2023.01)G06V 10/25 (2022.01)G06T 7/246 (2017.01)G06V 40/20 (2022.01)G06N 5/04 (2023.01)G06V 10/764 (2022.01)G06V 10/80 (2022.01)G06N 5/022 (2023.01)
本发明提供一种基于多模态视觉模型的智能视频监控预警方法及系统，方法包括在改进后的YOLOv8算法中引入低秩分解注意力机制以及改进型注意力机制，以得到检测模型；基于检测模型对视频中的特定目标进行检测；采用ByteTrack算法对特定目标进行跟踪，并裁剪出特定目标的图像；采用SlowFast算法对图像进行短时序的动作识别；采用Qwen‑VL多模态推理模型分析视频的长时序的内容，并将分析后的长时序内容与RAG知识库结合，以实现动态的异常判断。本发明能够达到有效持续跟踪的目的以及进行短时序动作识别和长时序内容分析，并且能够有效实现动态异常判断。