珠海凌烟阁芯片科技有限公司

本公开提供一种基于专家交互蒸馏的大模型推理方法及装置，涉及大模型技术领域。该方法包括接收推理任务输入并构建对应的推理上下文；基于推理上下文，生成初步推理结果，初步推理结果包括至少一条推理路径；识别推理路径中的关键推理节点，关键推理节点为对最终推理结果产生决定性影响或存在高不确定性的推理步骤；获取针对关键推理节点的专家反馈数据；将专家反馈数据蒸馏为推理知识单元，并基于嵌入推理知识单元的增强推理路径，生成目标推理结果。本公开能够识别推理过程中的关键推理节点，并主动获取针对关节推理节点的专家反馈数据，将专家反馈数据转化为推理知识单元嵌入推理过程，从而显著提升大模型在专业场景下的推理能力。