CNIPA.AI
返回搜索
档案

视频生成方法、装置、设备、存储介质

发明专利有效
10权利要求 · 4 独立
§ Ⅰ

卷宗概要

发明人

贺冠楠; 于伟; 梅涛; 姚霆; 王科

IPC 分类

H04N 21/854 (2011.01)G06T 13/40 (2011.01)H04N 21/43 (2011.01)H04N 21/44 (2011.01)H04N 21/234 (2011.01)H04N 21/242 (2011.01)

本申请提供一种视频生成方法、装置、设备、存储介质,该方法包括:获取驱动视频和人物图像;根据驱动视频和人物图像构建提示词;根据驱动视频和人物图像进行人物姿态对齐,得到姿态骨骼帧序列;基于提示词进行编码,得到文本潜空间特征;基于人物图像、姿态骨骼帧序列进行编码,得到每个重叠滑动窗口的视频潜空间特征;根据文本潜空间特征和视频潜空间特征进行重叠滑动窗口去噪,生成目标视频。本方法根据文本潜空间特征和视频潜空间特征进行重叠滑动窗口去噪,生成目标视频,该重叠滑动窗口去噪过程保证目标视频生成过程中对角色的引导,使得目标视频的动作更平滑、内容更连贯,保证长序列的角色一致性,动作衔接自然,面对复杂场景的泛化能力。