Back to Search
Dossier
预训练语言模型微调方法、推理服务系统、设备和介质
InventionActive
2views
10Claims · 4 independent
§ Ⅰ
Dossier Overview
Inventor
蒋知航; 王东升; 杨耀; 杨佳熹; 周英; 陈红阳
IPC Classification
G06N 5/04 (2023.01)G06N 3/096 (2023.01)G06F 40/30 (2020.01)G06N 3/045 (2023.01)G06F 16/3329 (2025.01)G06N 3/0455 (2023.01)
本申请涉及一种预训练语言模型微调方法、推理服务系统、设备和介质,通过获取目标领域及其相关领域的原始指令,原始指令包括语言理解任务;对原始指令按照多维度指标进行评估与筛选,构建第一高价值指令集;从第一高价值指令集中提取相关领域的指令,并利用预训练语言模型对提取的指令进行过滤与可迁移性评估,得到第二高价值指令集;采用预训练语言模型对第二高价值指令集依次执行标注、筛选和增强处理,生成结构化训练样本;根据结构化训练样本训练预训练语言模型,以使预训练语言模型适配目标领域。通过本申请,减少了领域标注数据数量。
External Resources