一种多模态大模型推理加速的视觉词元计算方法及系统

本发明公开了一种多模态大模型推理加速的视觉词元计算方法及系统，涉及人工智能与多模态大模型技术领域，面向多模态大语言模型，每层Transformer设置双独立路由器分别管控自注意力与MLP模块，基于文本隐状态自适应跳过视觉词元冗余计算，经两阶段训练兼顾模型性能与推理效率；本发明提供的一种多模态大模型推理加速的视觉词元计算方法及系统，解决多模态大语言模型推理时视觉词元需在所有Transformer层重复参与计算导致深度计算冗余、部署效率低，且现有固定跳过与早退策略无法自适应样本复杂度、易损伤模型多模态理解与文本生成性能的问题。