一种基于多模态融合的视频理解系统

本发明公开了一种基于多模态融合的视频理解系统，涉及视频视频技术领域。本发明包括：动态分割模块、多模态理解模块、知识生成模块和控制模块；所述动态分割模块用于将输入视频分割成多个场景；所述多模态理解模块用于并行处理音频流和视频关键帧，并进行跨模态对齐；所述知识生成模块用于构建时空关联的内容图谱；所述控制模块用于根据视频类型自动调整系统参数；以解决现有视频理解技术中因为场景分割的自适应能力不足，多模态信息融合精度有限，知识表示方法不够精细以及系统缺乏类型自适应能力而导致处理效率低下、准确率有限且适用范围狭窄的问题。