№ CN122949548A발명
알 수 없음一种基于多参考帧与隐式唇部关键点的人脸唇形同步方法
本发明提供了一种基于多参考帧与隐式唇部关键点的人脸唇形同步方法,包括:从目标人物的视频序列中提取多帧参考帧;提取每个参考帧的特征并对其进行特征融合得到统一参考帧特征表示;提取视频序列时间对齐的语音信号的音频特征进行映射和归一化,得到音频特征序列;提取音频特征序列的唇部运动隐特征,并基于唇部运动隐特征预测隐式唇部关键点序列;将隐式唇部关键点序列和统一参考帧特征表示进行特征融合得到联合特征序列;利用联合特征序列得到唇形同步结果。本发明引入多参考帧对说话人身份、姿态和结构进行约束,使得在头部转动、姿态变化及复杂光照条件下仍能保持良好的时序一致性。
❖杭州灵之宇科技有限公司林晖; 李若冰Oct 20, 2026§ 3/10 청구항G06V 40/16 (2022.01), G06V 20/40 (2022.01), G06V 10/80 (2022.01) +8