一种可缓解视频语言大模型中时序幻觉的长视频理解方法

本发明提供一种可缓解视频语言大模型中时序幻觉的长视频理解方法，本发明基于静态偏置的自适应帧选择机制和跨模态特征融合策略；静态偏置机制通过判别器评估帧间相似性，识别冗余帧并选择关键帧或保留完整序列，以降低计算开销并保持时空信息完整性；并通过将视频帧与文本映射至共享语义空间，增强单帧语义理解能力，随后将此嵌入序列作为软性提示输入至大型语言模型中，以自回归方式生成最终答案。本发明能够显著提升长视频理解与视频问答任务的效率与准确性；有效缓解因时序依赖冗余和计算资源消耗过大导致的训练与推理低效问题；通过动态多模态任务处理框架和时空记忆库压缩机制，进一步提升模型对长视频序列的建模能力与泛化性能。