基于语义分布偏差度量的无训练多层视觉令牌剪枝方法

本发明公开了一种基于语义分布偏差度量的无训练多层视觉令牌剪枝方法，属于多模态信息处理技术领域，所述方法包括：获取视觉语言模型、图像文本标定样本及视觉令牌保留参数；在预设语义评价层提取标定样本的视觉令牌特征并构建共享离散语义簇空间；针对视觉显著性分支和文本条件分支的候选层组合执行视觉令牌选择，分别统计完整视觉令牌和保留视觉令牌在各语义簇中的分布，通过聚类语义分布偏差度量确定目标层组合；以及线推理并合并各阶段选取的视觉令牌并输入大语言模型；本发明无需更新视觉编码器和大语言模型参数，可减少单层评分引起的语义选择偏差，在较低视觉令牌保留比例下保持视觉语义组成并显著降低多模态模型推理开销。