无锡宇宁科技集团股份有限公司

本申请提供一种基于结构化业务知识的投机解码方法、系统及存储介质。本申请方法通过对用户输入文本进行语义解析以识别用户意图类别；基于当前业务对话状态和用户意图类别确定下一期望状态及其对应的合法词元序列集合；从预加载的业务知识库中查询与下一期望状态相匹配的候选词元并生成候选词元序列；将候选词元序列输入预训练的大语言模型进行一次前向推理以获得各词元位置的输出概率分布；再基于输出概率分布和所述合法词元序列集合对候选词元序列进行约束验证，确定被接受的目标词元序列；将目标词元序列作为当前对话轮次的回复生成结果输出，使单次解码步骤能够一次性确认多个词元，从而提高投机接受率，提升投机解码的加速效果。