基于2D数字人的实时交互方法及程序产品

本申请公开了一种基于2D数字人的实时交互方法及程序产品，涉及人工智能技术领域，包括：获取客户端实时采集并上传的用户音频流；从用户音频流中提取有效语音片段，对有效语音片段进行语音识别得到用户提问文本，基于用户提问文本生成回复文本；对回复文本进行语音合成得到回复音频流；基于回复音频流驱动2D数字人模型进行唇形推断，生成数字人视频帧序列，将回复音频流与数字人视频帧序列进行时间同步封装后，通过与客户端之间建立的点对点实时通信连接推送至客户端；响应于在数字人回应的生成与推送过程中，检测到有效语音，停止当前的数字人回应生成任务。本申请降低了数字人交互的响应延迟，提高了数字人交互的自然度。