검색으로 돌아가기
기록
动态混合专家模型训练方法、数字人交互方法及相关设备
발명유효
2조회수
10청구항 · 5 독립항
§ Ⅰ
개요
발명자
丁万; 黄东延; 马瑞华
IPC 분류
G06N 3/08 (2023.01)G10L 19/00 (2013.01)G10L 13/08 (2013.01)G10L 13/02 (2013.01)G10L 25/30 (2013.01)G06N 3/0455 (2023.01)G06N 3/042 (2023.01)G06N 3/048 (2023.01)G06N 5/04 (2023.01)G06F 18/213 (2023.01)G06F 18/25 (2023.01)G06T 13/20 (2011.01)G06T 13/40 (2011.01)G06V 10/44 (2022.01)G06F 40/35 (2020.01)
本发明实施例涉及数字人技术领域,公开了一种动态混合专家模型训练方法、数字人交互方法及相关设备,训练方法包括:获取人际交互活动场景下的多模态样本数据;将多模态样本数据输入至多模态编码器中,获取统一样本向量;将统一样本向量输入至混合专家模型中,对混合专家模型进行训练,获取多模态预测信息;将多模态预测信息输入至多模态解码器中,得到第一人体预测信息及第一合成语音数据;基于第一人体预测信息、第一合成语音数据及损失函数对混合专家模型的模型参数进行调整,得到动态混合专家模型。通过上述方式,本发明实施例在确保交互准确的同时,能够降低数字人算力成本,流式化播放不卡顿。