模型投机推理的加速方法及系统

本申请实施例提供一种模型投机推理的加速方法及系统，该方法包括：在对草稿模型输出的多个候选令牌序列进行验证时，将验证任务所需的模型参数分别部署于神经网络处理器侧和计算模组侧的独立存储空间中，并且神经网络处理器只使用第一存储空间中的第一参数子集对多个候选令牌序列进行验证，计算模组只使用第二存储空间中的第二参数子集对多个候选令牌序列进行验证，使得神经网络处理器与计算模组能够并行执行验证任务，避免了参数加载的相互干扰，显著降低了验证过程中的数据搬移开销，提升了整体推理吞吐量，并有效利用了近存计算架构的局部性优势即计算靠近数据，提升了数据验证的能效比，从而提高了移动端的大模型推理效率和系统资源利用率。