검색으로 돌아가기
기록

一种电力生成式大语言模型的输入扰动鲁棒性提升方法

발명유효
5청구항 · 1 독립항
§ Ⅰ

개요

발명자

郑略省; 梁懿; 卢伟龙; 张晓东; 王燕蓉

IPC 분류

G06F 40/284 (2020.01)G06N 3/08 (2023.01)G06F 40/211 (2020.01)

本发明涉及一种电力生成式大语言模型的输入扰动鲁棒性提升方法,包括如下步骤:从初始语料库中随机抽取语料数据进行第一次扰动增强,生成扰动增强语料;从新语料库中随机抽取语料以同义词替换和/或随机字符增强方式进行文本增强,生成文本增强语料;将初始语料、扰动增强语料以及文本增强语料合并,生成训练语料库;将训练语料库中的数据作为训练样本输入生成式大语言模型中,该模型的输入层和隐藏层随机丢弃模型神经元的元素并将它们置零;优化生成式大语言模型的一致性损失。本发明的效果:采用基于扰动增强和文本增强以及特征泛化的扰动鲁棒训练方法,增强抗输入扰动能力,有效提升电力生成式大语言模型的泛化能力与鲁棒性。

로그인하고 전문 읽기

청구항 1을 표시했습니다. 무료 가입하면 전체 5개 청구항, 명세서 전문, 전체 도면, 번역, 법적 상태를 볼 수 있습니다.

  • 전체 청구항
  • 기술 분야
  • 배경 기술
  • 발명의 내용
  • 도면 설명
  • 발명의 실시 형태