CNIPA.AI
검색으로 돌아가기
기록

一种指令与内容生成解耦的语言模型架构及训练方法

발명유효
10청구항 · 4 독립항
§ Ⅰ

개요

발명자

白惠源; 王啸天; 刘扬

IPC 분류

G06F 40/16 (2020.01)G06N 3/0455 (2023.01)G06N 3/09 (2023.01)

本申请公开了一种指令与内容生成解耦的语言模型架构及训练方法,属于人工智能技术领域。该方法包括:获取自然语言指令;调用指令解析模块,将所述自然语言指令解析为一结构化指令表征,其中,所述结构化指令表征为一预设模式的持久化数据结构,用以非易失性地承载指令中的约束信息;调用内容生成模块,依据所述结构化指令表征及当前上下文,生成内容序列。本申请通过将指令的理解过程与内容的生成过程在架构上进行分离,并将易失的自然语言指令转化为一个在整个生成过程中恒定存在的结构化约束,从根本上解决了指令信息在长序列生成中衰减的问题,提升了大型语言模型遵循复杂指令的高保真度与可靠性。