一种基于多模态大模型的端边协同视频理解方法及系统

本发明公开了一种基于多模态大模型的端边协同视频理解方法及系统，该方法包括：以端侧的高效感知与记忆构建为前端，以边缘节点多模态大模型推理为后端，形成端侧预处理与边缘节点推理相结合的整体架构。在端侧，包括场景分割与增量聚类，构建包含原始记忆层与索引记忆层的层次化记忆结构；在用户发起自然语言查询时，检索出关键帧并进行跨模态推理与生成。该系统包括：视频流场景分段模块、片段内帧聚类模块、层次化记忆结构构建模块和关键帧检索模块。通过使用本发明，实现了端侧计算、存储经济性与语义检索效率的兼顾，能够有效应用于端边协同智能场景。本发明可广泛应用于人机交互领域。