北京多态云脑科技有限公司

本申请公开了一种文字匹配数字人口型的播报方法及系统，方法包括：获取待播报文本序列及对应的语音特征；对两者进行跨模态对齐，得到语义与时域对齐的口型生成条件控制信息；将条件信息输入口型生成模型，生成中获取表征口型变化复杂度的状态信息以动态调整计算资源，生成匹配复杂度的逐帧唇形驱动参数；据此得到面部驱动参数序列并存入环形缓冲区；渲染时监测音画同步状态，若异常且驱动时刻超出缓冲区时序覆盖，则以历史面部参数外推预测当前驱动参数，否则从缓冲区读取；以所得参数驱动面部模型连续渲染。本申请通过自适应算力调节与异常自愈机制，兼顾口型保真度与播报稳定性。