潜在3D扩散模型的自动解码

提供了用于生成静态和关节式3D资产的系统和方法，其核心包括3D自动解码器。3D自动解码器框架将从目标数据集学习到的属性嵌入到潜在空间中，然后可以将其解码为体积表示，以渲染视图一致的外观和几何形状。然后标识适当的中间体积潜在空间，并实施鲁棒归一化和反归一化操作，以从刚性或关节式物体的2D图像或单目视频中学习3D扩散。这些方法足够灵活，可以使用现有的相机监督或根本不使用相机信息，而是在训练期间有效地学习相机信息。所生成的结果被证明在各种基准数据集和指标上优于最先进的替代方案，包括合成物体的多视图图像数据集、移动人的真实野外视频以及大规模的静态物体的真实视频数据集。