基于文本驱动的4D内容生成方法及相关装置

本发明属于人工智能技术领域，公开了一种基于文本驱动的4D内容生成方法及相关装置，包括获取文本输入并编码为文本嵌入向量；生成4D内容各帧的稀疏结构噪声，结合文本嵌入向量调用预训练4D内容生成模型生成稀疏结构体素；根据稀疏结构体素生成结构化噪声，结合文本嵌入向量调用预训练4D内容生成模型生成结构化潜变量并解码生成4D内容。同时，提供基于静态网格的3D动画生成和4D插值。预训练4D内容生成模型基于改进结构化潜在扩散模型，其在结构化潜在扩散模型基础上将空间自注意力层扩展为时空自注意力层，位置嵌入组件修改为混合型4D旋转位置编码。实现了文本驱动的4D内容生成，避免了级联误差，保证了时空一致性。