一种基于大语言模型的推测解码方法、装置、设备及介质

本申请公开了一种基于大语言模型的推测解码方法、装置、设备及介质，涉及大模型技术领域，包括：确定若干个词元位置的输出概率分布，基于输出概率分布确定置信度分数；根据目标状态信号确定目标控制参数，对置信度向量进行聚合计算，以得到聚合置信度，通过聚合置信度及目标控制参数确定目标草稿长度；基于目标控制参数及置信度分数确定验证容忍度阈值，利用目标深度学习模型基于目标草稿长度生成草稿序列，基于预设大语言模型及验证容忍度阈值对草稿序列中的各词元进行验证；将验证成功的目标词元增加至当前已生成序列的末尾，得到目标序列，将目标序列确定为当前已生成序列，并重新跳转，以进行下一轮推测解码。本申请能够提高推测解码的效率。