一种基于TRTC的实时数字人音视频同步方法和装置

本发明适用于实时音视频通信和数字人交互技术领域，提供了一种基于TRTC的实时数字人音视频同步方法和装置。在本实施例中，对于需要进行同步的语音数据，设备先将该语音数据转换成音频流上传至云端服务器，云端服务器再根据基于数字人形象预先生成的唇形动作视频片段生成唇形视频流，并同时生成时间戳与该唇形视频流同步的第二音频流，再将该唇形视频流和第二音频流返回给设备，最后设备根据唇形视频流和第二音频流中的时间戳进行播放，从而实现音视频同步。这大幅降低了数字人实时对话的系统延迟，有效避免了声音与口型不同步的现象，解决了数字人口型与语音同步时低延迟和高精度口型同步之间难以兼顾的问题。