一种大语言模型推理调控方法及装置

本申请公开了一种大语言模型推理调控方法及装置，包括：响应于大语言模型每推理出一个答案词元进入一次调控阶段，在调控阶段中针对大语言模型的每个自回归生成步骤，均执行以下过程：获取大语言模型在当前自回归生成步骤输出的词表原始逻辑值序列；基于词表原始逻辑值序列构造语义残差向量，将语义残差向量注入大语言模型中间层，以调控模型在下一个自回归生成步骤所需的隐状态向量，使模型基于调控后的隐状态向量输出下一个自回归生成步骤的词表原始逻辑值序列；若基于词表原始逻辑值序列所得到的大语言模型在当前自回归生成步骤的不确定性度量，判定结束调控阶段，则通过大语言模型基于词表原始逻辑值序列，推理出答案词元的下一个答案词元。