一种面向多模态大语言模型的分层视觉Token压缩方法

本发明涉及一种面向多模态大语言模型的分层视觉Token压缩方法，包括：获取图像和待压缩的多模态大语言模型；基于架构及权重，计算基于视觉信息的模态内交互和跨模态交互，以划分浅层、中层、深层范围；基于图像提取出视觉Token，根据文本指令提取出文本Token；在浅层范围内，仅文本Token参与处理；在中层范围内，基于所述视觉Token和浅层范围内处理的文本Token，采用凹金字塔式剪枝方法去掉冗余视觉Token；在深层范围内，将剩余视觉Token全部去除，仅保留文本Token进行推理，完成视觉Token压缩过程。与现有技术相比，本发明具有高效的视觉Token压缩等优点。