天津七五四光电技术有限公司

本发明公开了一种基于多模态大模型的实时视觉理解与交互方法，包括如下步骤：S1：图像采集与预处理模块实时获取原始图像或视频帧，分辨率和宽高比任意；S2：高分辨率自适应分块与位置编码模块进行高分辨率自适应分块及位置编码；S3：视觉token动态压缩模块进行视觉特征提取与动态压缩；S4：多模态大语言模型进行多模态统一前向推理；S5：跨帧token缓存与时序注意力模块进行视频流专有步骤：跨帧视觉token缓存与时序融合；S6：AR渲染与TTS语音交互模块进行实时渲染与交互，本发明能够彻底突破分辨率和宽高比限制，高分辨率信息零丢失，远处小目标、密集文字识别率大幅提升，推理延迟极大降低，手机端实现60fps实时检测，视频一致性提升，幻觉率降低。