검색으로 돌아가기
기록
一种基于大语言的低资源语言翻译模型训练方法
발명유효
1조회수
10청구항 · 1 독립항
§ Ⅰ
개요
출원인
北京中科闻歌科技股份有限公司; 中国科学院自动化研究所; 航空工业信息中心
발명자
罗引; 孔庆超; 冯昊; 赵菲菲; 曾凡苍; 董其军; 王童跃; 曾大军
IPC 분류
G06F 40/58 (2020.01)G06F 40/30 (2020.01)G06F 40/211 (2020.01)G06N 3/045 (2023.01)G06N 3/0455 (2023.01)G06N 3/09 (2023.01)G06N 3/084 (2023.01)G06N 3/048 (2023.01)G06N 3/0985 (2023.01)G06N 3/096 (2023.01)
本发明公开了一种基于大语言的低资源语言翻译模型训练方法,包括:利用多语种文本语料库对基础大语言模型进行继续预训练,并保存多个中间检查点作为候选模型;基于验证集性能从候选模型中选取下游翻译任务性能最优的模型,利用平行指令数据集进行指令监督微调得到中间模型;最后利用由首选翻译和拒绝翻译组成的偏好数据集,采用偏好优化算法对中间模型进行训练得到目标翻译模型。本发明通过三步骤渐进式训练,有效解决了低资源语言翻译中的数据稀疏、模型能力不足和训练方法单一等问题,显著提升了翻译质量。