一种基于静态与动态词表协同的投机解码方法及系统

本发明公开了一种基于静态与动态词表协同的投机解码方法及系统，包括：初始化静态词表与动态词表；基于推理请求，草稿模型在词表上生成草稿；利用目标模型在其完整词表上对草稿验证，输出草稿各位置在目标模型完整词表上的概率分布；利用概率分布，从每个草稿位置各自选取概率最高的前几个词组成候选词集合，移除已包含于的词，得到剩余候选词集合；利用剩余候选词集合对及其维护数据进行更新；利用概率分布确定验证通过的令牌，将其追加到输出序列；重复上述步骤，直到生成序列终止令牌，得到推理结果。本发明可有效提升词表裁剪范式下的草稿质量，提高投机解码的推理加速性能。