基于语义感知和结构化记忆的流式视频理解方法及系统

本发明公开了基于语义感知和结构化记忆的流式视频理解方法及系统，属于视频理解与人工智能技术领域，包括根据流式视频的帧序列实时更新当前视频帧、历史帧序列和活动缓存中的待确认帧序列；对当前视频帧进行多粒度语义感知；计算全局连续性参数、局部连续性参数和空间连续性参数；执行双重边界检测机制将流式视频的帧序列切分为若干个视频块；构建结构化记忆；基于查询文本进行两阶段级联检索并读取目标视频块集合的高分辨率视觉特征，将查询文本、目标视频块集合的高分辨率视觉特征和时间位置信息、活动缓存中的待确认帧序列输入多模态大语言模型，生成最终回答结果。能够实现高效、高准确性的视频理解，存储与计算成本低。