검색으로 돌아가기
기록
基于用户动态认知激励的大模型价值对齐方法和系统
발명유효
10청구항 · 2 독립항
§ Ⅰ
개요
발명자
毛震东; 张勇东; 张立成; 徐本峰; 杜铭轩
IPC 분류
G06F 18/20 (2023.01)G06F 18/25 (2023.01)G06N 3/09 (2023.01)G06N 3/092 (2023.01)
本发明涉及自然语言生成技术领域,公开了一种基于用户动态认知激励的大模型价值对齐方法和系统,方法包括:实时捕捉用户与大模型交互过程中产生的认知信号,并量化为数值或向量形式;基于为各用户离线预训练的权重向量,对量化后认知信号进行加权融合,生成标量奖励信号;对近端策略优化算法进行改进,实现大模型在线单样本场景下的参数更新;在大模型进行参数更新时,采用全量参数更新,并采用异步参数更新机制,使大模型在接收新的用户认知信号的同时在后台完成全量参数更新。本发明方法能够有效解决现有大模型价值对齐技术中存在的静态偏好、更新滞后、成本高昂等问题,为大模型的安全可控应用提供了重要的技术支撑。