一种垂直领域大模型训练的方法和装置

本发明实施例公开了一种垂直领域大模型训练的方法和装置。本发明实施例中，通过获取用户输入的多条自然语言语句、垂直领域知识语料和开放域语料；根据每条自然语言语句在垂直领域知识库中获取对应的至少一条目标结构化知识；根据自然语言语句和至少一条目标结构化知识生成结构化知识挂载样本；根据多条生成结构化知识挂载样本、垂直领域知识语料和开放域语料对基础垂直领域大模型进行预训练，生成预训练垂直领域大模型；构建后训练样本集，后训练样本集中包括多任务、多角色、多粒度的多个训练样本；根据后训练样本集对预训练垂直领域大模型进行微调，生成目标垂直领域大模型。通过上述方法，可以提高垂直领域LLM的性能。