真人语音口型动画生成方法及系统、电子设备、存储介质

本发明公开了一种真人语音口型动画生成方法及系统、电子设备、存储介质，包括：对多段演讲视频素材库和一段目标演讲视频做音频提取、人脸跟踪和配准，提取输入音频、口型区域纹理、脸部区域纹理；根据多段演讲视频素材库的输入音频、口型区域纹理，预训练一个音频驱动口型的通用音频编码器；根据已预训练好的通用音频编码器，在一段目标演讲视频的输入音频、口型区域纹理数据上，训练针对目标演讲视频的音频驱动口型的模型；根据目标演讲视频的口型区域纹理、脸部区域纹理，训练针对目标演讲视频的口型驱动脸部的模型；根据训练好的音频驱动口型的模型和口型驱动人脸的模型，可将输入的音频生成真人语音口型动画序列。