CVPR2023新作：三维神经场生成模型

1. Title: 3D Neural Field Generation Using Triplane Diffusion

2. Affiliation: Milton Academy

3. Authors: J. Ryan Shue, Eric Ryan Chan, Ryan Po, Zachary Ankner, Jiajun Wu, Gordon Wetzstein

4. Keywords: 3D generation, diffusion-based model, triplane factorization, ShapeNet, neural fields

5. Summary:

• (1): 本文研究背景是在图像生成任务中，扩展二维扩散模型的成功应用，并将其推广到三维领域。

• (2): 过去的方法主要有基于图像和离散点云的三维扩散模型。其中离散点云受限于分辨率等问题，故此文提出了一种新的三维扩散模型，将训练数据转换成连续占据场并将其因式分解为一系列轴对齐的三面特征表示，提高了生成质量和多样性。 本文所提出的方法在 ShapeNet 数据集上进行了实验，取得了较好的效果。

• (3): 本文提出了一种新的三维神经场生成模型，该模型基于已有的二维扩散模型，并通过将三维场转换为轴对齐三面的二维特征平面，使二维扩散模型可以直接进行三维图像的生成。

• (4): 本文在 ShapeNet 数据集上进行了实验，取得了高质量、多样性的三维场生成结果，并比先前的三维扩散模型和其他三维生成方法表现更好。实验证明了本文方法的有效性。

6. Methods:

• (1): 本文提出了一种新的三维神经场生成模型，基于已有的二维扩散模型，并通过将三维场转换为轴对齐三面的二维特征平面，使二维扩散模型可以直接进行三维图像的生成。

• (2): 根据本文所提出的模型，将训练数据转换成连续占据场并将其因式分解为一系列轴对齐的三面特征表示，提高了生成质量和多样性。

• (3): 在 ShapeNet 数据集上进行实验，采用了多项评价指标以衡量所提出的方法的效果，包括三维点云和二维投影的重建误差、三维点云的多样性、视角一致性等等。实验结果表明，本文所提出的方法有效，在三维场生成任务中取得了较好的效果。

7. Conclusion:

• (1): 本文提出了一种基于三维扩散模型的神经场生成方法，具有重要意义。这种方法可以将训练数据转化为轴对齐三面的二维特征平面来直接进行三维图像的生成，生成质量和多样性得到了较大的提高。

• (2): 创新点：本文提出的方法可以直接将二维扩散模型应用于三维场生成任务，提高了生成质量和多样性。性能：实验证明本文提出的方法在 ShapeNet 数据集上表现更好，较之前的三维扩散模型和其他三维生成方法具有更好的性能。工作量：虽然本文方法需要对训练数据进行转化和因式分解，但在相对较小的工作量下可以实现高质量的三维场生成，因此相对较小的工作量是可以接受的。