数字人口型驱动方法、装置及电子设备

本申请提出一种数字人口型驱动方法、装置及电子设备，其中，方法包括：提取音频信号中的音频特征和视频中视频帧的面部系数特征；通过对比学习特征融合网络对所述音频特征和所述面部系数特征进行概率性引入融合处理，得到特征嵌入序列特征；获取数字人参考人物图像和噪声隐变量；通过去噪网络对所述特征嵌入序列特征、所述数字人参考人物图像和噪声隐变量进行处理，输出数字人口型视频帧序列；基于所述数字人口型视频帧序列和所述音频信号，生成数字人视频。采用本申请的方法可以提高数字人生成效果，满足多样化的应用需求。