Back to Search
Dossier
一种基于图片与音频合成的交互式数字人生成方法及系统
InventionActive
2views
10Claims · 2 independent
§ Ⅰ
Dossier Overview
Inventor
陈鹏; 张华伟
IPC Classification
G06T 13/40 (2011.01)G06T 13/20 (2011.01)G06V 10/46 (2022.01)G06V 40/16 (2022.01)G06V 40/10 (2022.01)G06N 3/0464 (2023.01)G06V 10/764 (2022.01)G06V 10/82 (2022.01)G06N 3/0455 (2023.01)
本发明公开一种基于图片与音频合成的交互式数字人生成方法,属于人工智能与计算机图形学交叉领域。该方法仅由用户上传一张人物图片与一段音频,即可自动完成“特征提取—模型构建—情感驱动—实时交互—视频输出”全链路流程:对图片进行关键点与语义特征提取,获得面部/姿态信息;对音频进行语音识别、语义分析及情感识别,得到语义标签与情感参数;基于上述信息生成个性化三维数字人,并驱动其产生与情感同步的面部表情与肢体动作;通过自然语言理解与计算机视觉实时解析用户意图,实现多模态交互。本发明无需专业建模与动捕设备,即可完成数字人创建,生成成本降低,可广泛应用于虚拟主播、在线教育、智能客服、影视娱乐场景。
External Resources