검색으로 돌아가기
기록
一种基于多参考帧与隐式唇部关键点的人脸唇形同步方法
발명알 수 없음
10청구항 · 3 독립항
§ Ⅰ
개요
IPC 분류
G06V 40/16 (2022.01)G06V 20/40 (2022.01)G06V 10/80 (2022.01)G06V 10/46 (2022.01)G06V 10/82 (2022.01)G06N 3/0455 (2023.01)G06N 3/0464 (2023.01)G10L 21/10 (2013.01)G10L 25/03 (2013.01)G10L 25/18 (2013.01)G10L 25/30 (2013.01)
本发明提供了一种基于多参考帧与隐式唇部关键点的人脸唇形同步方法,包括:从目标人物的视频序列中提取多帧参考帧;提取每个参考帧的特征并对其进行特征融合得到统一参考帧特征表示;提取视频序列时间对齐的语音信号的音频特征进行映射和归一化,得到音频特征序列;提取音频特征序列的唇部运动隐特征,并基于唇部运动隐特征预测隐式唇部关键点序列;将隐式唇部关键点序列和统一参考帧特征表示进行特征融合得到联合特征序列;利用联合特征序列得到唇形同步结果。本发明引入多参考帧对说话人身份、姿态和结构进行约束,使得在头部转动、姿态变化及复杂光照条件下仍能保持良好的时序一致性。
로그인하고 전문 읽기
청구항 1을 표시했습니다. 무료 가입하면 전체 10개 청구항, 명세서 전문, 전체 도면, 번역, 법적 상태를 볼 수 있습니다.
- 전체 청구항
- 기술 분야
- 배경 기술
- 발명의 내용
- 도면 설명
- 발명의 실시 형태