検索に戻る
案件記録

基于分类数据的MoE模型强化训练方法

発明有効
10請求項 · 1 独立
§ Ⅰ

案件概要

発明者

张发宝; 张宇征

IPC分類

G06F 18/241 (2023.01)G06F 18/22 (2023.01)G06F 18/10 (2023.01)G06Q 10/0635 (2023.01)G06N 3/0442 (2023.01)G06N 3/092 (2023.01)

本发明公开了基于分类数据的MoE模型强化训练方法,涉及MoE模型强化训练技术领域,包括如下步骤:在MoE模型强化训练过程中采集每个批次中各种样本被正确分配的数量,并进行预处理,得到样本正确率数据以及专家匹配率数据;进行样本正确率分析,得到第一权重特征数据;并进行专家匹配率分析,得到第二权重特征数据;基于第一权重特征数据以及第二权重特征数据,对强化训练的批次中各种样本的比例进行动态调整;本发明用于解决现有的MoE模型强化训练技术在对用于分类数据的MoE模型进行强化训练时,无法根据每个训练批次中样本被正确分配的数量,对训练批次的各种样本的比例进行动态调整,提高MoE模型强化训练的效率的同时,提高MoE模型的分类精度的问题。

外部リソース