文本序列生成的投机解码方法、装置、系统和存储介质

本申请公开了一种文本序列生成的投机解码方法、装置、系统和存储介质，属于大语言模型推理技术领域，所述方法包括：将当前草稿查询与各块代理键值对之间的关联得分从大到小进行排序，利用前k个排名对应的top‑k相关块构成草稿注意力上下文，能够确保传输给草稿文本生成模型的内容准确；将草稿注意力上下文输入草稿文本生成模型得到候选token以建立草稿树；对草稿树中的叶节点分组进行融合验证，验证过程中首次拒绝深度反馈用于下一轮草稿树构建，找出最长的已验证路径并加入当前历史token序列，并从中删除用户请求的文本序列作为用户请求的文本回答。本发明能够缓解长序列生成带来的执行开销问题，最终提高文本序列生成的效率。