《DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation》

原创

已于 2023-12-13 15:03:50 修改 · 2k 阅读

26 ·

CC 4.0 BY-SA版权

文章标签：

#3d #计算机视觉

于 2023-12-13 11:53:11 首次发布

文章介绍了一种新的3D内容生成方法DreamGaussian，通过设计生成的3D高斯模型和优化过程，显著提高了生成效率，同时保持了高质量。文章详细阐述了生成、网格提取和纹理细化三个步骤，尤其强调了从3DGaussians到texturedmesh的高效转换。

摘要：

$\quad$ 在3D content creation方面的最新进展大多利用通过SDS进行的基于优化3D生成。虽然已经显示出了有希望的结果，但这些方法的per-sample optimization往往比较缓慢，限制了它们的实际应用。在这篇文章中，我们提出了DreamGaussian，同时实现efficiency和quality。我们的key insight是设计一个生成的三维高斯溅模型，在UV空间中进行友好的网格提取和纹理细化。与NeRF使用的occupancy pruning优化过程相反，我们证明了在三维生成任务中，3D Gaussians的 progressive densification 收敛速度明显更快。为了进一步提高纹理质量，促进下游应用，我们引入了一种高效的算法，将3D Gaussians转换为textured meshes，并应用一个fine-tuning stage来细化细节。值得注意的是，DreamGaussian在短短2分钟内从单视图图像中生成高质量的纹理网格，与现有方法相比快了大约10倍。

方法：
在这里插入图片描述

$\quad$ DreamGaussian的总体框架如上图所示，分为三个步骤。

$\quad$ 一、Generative Gaussian Splatting

$\quad$ 第一个步骤，像DreamFusion那样，先随机初始化一个模型（本文初始化的是一堆点云，DreamFusion初始化的是一个MLP），然后将这个模型渲染出各个视角的图片，与text/image prompt一同输入至Stable Diffusion中进行优化。这一步的目的是优化出一个良好的3D Gaussians，以此作为几何和外貌的初始化。

$\quad$ 二、Efficient Mesh Extraction