基于Teacher-Student-Teacher框架的大语言模型系统及训练方法
本发明公开了一种基于Teacher‑Student‑Teacher框架的大语言模型系统及实现方法。该框架分为两个协同阶段:第一阶段采用经典的知识蒸馏范式,将大规模Teacher模型的知识迁移至轻量化Student模型,并在推理部署阶段保持Teacher基座模型参数冻结,通过持续利用用户对话历史对Student模型进行增量微调,在防御提示注入与信息窃取攻击的同时,大幅降低算力消耗;第二阶段恢复Teacher模型的验证职能,对Student模型所生成的候选回答实施多维度交叉核验机制,本发明在传统知识蒸馏的基础上引入了Teacher模型的后验核验,将Polanyi默会知识理论的核心洞见转化为可操作的工程实践:由Teacher模型在Student生成结果之后扮演验证者角色,利用其更丰富的默会认知弥补知识迁移的固有缺口,实现了安全性与准确率的协同提升。