CNIPA.AI
검색으로 돌아가기
기록

唇形同步模型的训练方法、数字人视频的生成方法及装置

발명유효
19청구항 · 7 독립항
§ Ⅰ

개요

발명자

郑义; 李嘉辉; 陶文

IPC 분류

G06V 40/16 (2022.01)G06V 10/44 (2022.01)G06V 10/774 (2022.01)G06V 10/82 (2022.01)G06N 3/044 (2023.01)G06N 3/0464 (2023.01)G06N 3/084 (2023.01)G06N 3/0895 (2023.01)

本公开提供了唇形同步模型的训练方法、数字人视频的生成方法及装置。本公开涉及人工智能技术领域,尤其涉及计算机视觉、虚拟现实、大模型、数字人口播、数字人直播等技术领域。具体方案为:基于目标对象的视频确定二维人脸特征真值和三维人脸特征真值;通过第一网络子模型从样本语音数据中提取三维人脸特征预测值;通过第二网络子模型从三维人脸特征预测值生成二维人脸特征预测值;基于二维人脸特征真值、三维人脸特征真值、二维人脸特征预测值和三维人脸特征预测值,训练第一网络子模型和第二网络子模型,得到唇形同步模型,唇形同步模型包括第一网络子模型和第二网络子模型。