用于模型推理的加速方法、装置、计算机设备及存储介质

本发明公开了一种用于模型推理的加速方法、装置、设备及存储介质，所述方法包括：将获取到的图像数据转换成视觉令牌，并将获取到的文本数据转换成文字令牌；将视觉令牌和文字令牌拼接成的统一序列输入至预设的语言模型中，在预设的多层数之后，按照与视觉令牌对应的平均注意力分数对视觉令牌进行排序，得到评分排序后的视觉令牌；按照与预设的多层数对应的预设比例保留高分的视觉令牌，剪除高分之外的视觉令牌，并基于文字令牌与保留的视觉令牌生成最终输出结果。本方案可分析图像中的内容，可应用于金融科技、医疗健康养老等业务场景中，只将保留的视觉令牌与文字令牌参与到计算推理；如此，模型推理效率可显著提升，模型性能可显著提升。