数字人视频生成方法、数字人生成模型的训练方法、装置及计算机设备

本公开提供了一种数字人视频生成方法、数字人生成模型的训练方法、装置及计算机设备，涉及人工智能技术领域，尤其涉及计算机视觉、视频生成和视频处理等领域，实现方案为：获取用户的文本输入信息；基于文本输入信息，生成混合输出流，其中包含自然语言文本以及嵌入在自然语言文本中的控制标志序列；将自然语言文本转换为对应的语音数据；基于控制标志序列，利用预设的多模态动作库构建数字人的全身姿态序列；获取数字人的参考图像；基于语音数据、全身姿态序列、自然语言文本、控制标志序列以及数字人的参考图像进行特征编码，以得到特征编码集合；将特征编码集合输入至预训练的数字人生成模型中，并获取所输出的包含数字人的视频。