返回搜索
档案
一种基于多参考帧与隐式唇部关键点的人脸唇形同步方法
发明专利未知
10权利要求 · 3 独立
§ Ⅰ
卷宗概要
IPC 分类
G06V 40/16 (2022.01)G06V 20/40 (2022.01)G06V 10/80 (2022.01)G06V 10/46 (2022.01)G06V 10/82 (2022.01)G06N 3/0455 (2023.01)G06N 3/0464 (2023.01)G10L 21/10 (2013.01)G10L 25/03 (2013.01)G10L 25/18 (2013.01)G10L 25/30 (2013.01)
本发明提供了一种基于多参考帧与隐式唇部关键点的人脸唇形同步方法,包括:从目标人物的视频序列中提取多帧参考帧;提取每个参考帧的特征并对其进行特征融合得到统一参考帧特征表示;提取视频序列时间对齐的语音信号的音频特征进行映射和归一化,得到音频特征序列;提取音频特征序列的唇部运动隐特征,并基于唇部运动隐特征预测隐式唇部关键点序列;将隐式唇部关键点序列和统一参考帧特征表示进行特征融合得到联合特征序列;利用联合特征序列得到唇形同步结果。本发明引入多参考帧对说话人身份、姿态和结构进行约束,使得在头部转动、姿态变化及复杂光照条件下仍能保持良好的时序一致性。
登录后阅读全文
已显示权利要求 1。免费注册即可阅读全部 10 项权利要求、说明书全文、全部附图、翻译和法律状态。
- 全部权利要求
- 技术领域
- 背景技术
- 发明内容
- 附图说明
- 具体实施方式