CNIPA.AI
검색으로 돌아가기
기록

一种视频生成方法、装置、存储介质及电子设备

발명유효
2조회수
10청구항 · 4 독립항
§ Ⅰ

개요

발명자

樊瑞迪; 王思远; 周旸

IPC 분류

H04N 21/854 (2011.01)H04N 21/43 (2011.01)H04N 21/431 (2011.01)H04N 21/44 (2011.01)G06V 10/25 (2022.01)G06V 10/80 (2022.01)G06V 20/40 (2022.01)

本发明提供了一种视频生成方法、装置、存储介质及电子设备,应用于人工智能技术领域。本发明首先通过对待重建视频的嘴部区域生成掩膜,精准聚焦嘴型细节,将生成带嘴部掩膜的带掩膜视频映射到潜空间,提取关键条件信息和掩膜特征,捕捉唇动动态,再将潜空间信息、掩膜特征及与时空分辨率匹配的高斯噪声堆叠,丰富输入特征,增强时序连续性,接着结合多模态融合特征,输入视频扩散模型实现高效多源信息融合,生成与音频高度同步且自然的潜空间特征,最终重构出高质量、唇动精准的视频,实现自然且细腻的视频嘴型编辑效果。