ECCV 2024 | 南洋理工三维数字人生成新范式：结构扩散模型，用于 3D 人类生成

该论文作者均来自于新加坡南洋理工大学 S-Lab 团队，包括博士后胡涛，博士生洪方舟，以及计算与数据学院刘子纬教授（《麻省理工科技评论》亚太地区 35 岁以下创新者）。S-Lab 近年来在顶级会议如 CVPR, ICCV, ECCV, NeurIPS, ICLR 上发表多篇 CV/CG/AIGC 相关的研究工作，和国内外知名高校、科研机构广泛开展合作。

最近的 3D 人体生成模型通过从 2D 图像中学习 3D 感知 GAN 取得了显着进展。然而，现有的3D人体生成方法在紧凑的一维潜在空间中对人类进行建模，忽略了人体拓扑的衔接结构和语义。在本文中，我们探索了更具表现力和更高维的 3D 人体建模潜在空间，并提出了 StructLDM，这是一种基于 扩散的无条件 3D 人体生成模型，该模型是从 2D 图像中学习的。

论文代码已打包好，需要的看下方图片获取

StructLDM 通过三个关键设计解决了由于潜在空间的高维增长而带来的挑战：

1） 在统计人体模板的致密表面流形上定义的语义结构化潜在空间。

2）一种结构化的3D感知自动解码器，将全局潜在空间分解为几个语义身体部分，这些语义身体部分由一组锚定到身体模板的条件结构化本地NeRF参数化，该部分嵌入了从2D训练数据中学习的属性，并可以解码以在不同姿势和服装样式下呈现视图一致的人类。

3）用于生成性人类外观采样的结构化潜在扩散模型。

大量的实验验证了 StructLDM 最先进的生成性能，并说明了结构化潜空间在被广泛采用的一维潜空间上的表现力。值得注意的是，StructLDM 支持不同级别的可控 3D 人体生成和编辑，包括姿势/视图/形状控制，以及高级任务，包括构图生成、部分感知服装编辑、3D 虚拟试穿等。

三维数字人生成和编辑在数字孪生、元宇宙、游戏、全息通讯等领域有广泛应用。传统三维数字人制作往往费时耗力，近年来研究者提出基于三维生成对抗网络（3D GAN