3D Gaussian Splatting：论文原理分析

标题：3D Gaussian Splatting for Real-Time Radiance Field Rendering

作者：Bernhard Kerbl、Georgios Kopanas、Thomas Leimkühler和George Drettakis，来自法国Inria、Université Côte d'Azur和德国Max-Planck-Institut für Informatik。

发表时间：2023年8月，ACM Transactions on Graphics上，卷号42，编号4

 摘要

提出了一种名为3D Gaussian Splatting的新方法，用于实时辐射场渲染，这种方法可以在只需要很少的优化时间的同时，实现与之前方法相当甚至更好的视觉质量。

本文提出的3D Gaussian场景表示方法，结合了实时可微分渲染器，显著提高了场景优化和新视角合成的速度。

实验表明，在与InstantNGP（Müller et al., 2022）相同的训练时间下，该方法可以达到相似的视觉质量，甚至在某些情况下超过了Mip-NeRF360（Barron et al., 2022）。

此外，本文还提出了三个关键元素以实现最新的实时、高质量辐射场渲染：

• 首先，采用了一个点云派生的摄像机校准，通过连续的体积路径追踪来优化场景的3D Gaussian表示；
• 其次，设计了一种稳定的感知优化/密度控制算法来控制3D Gaussians，明显改善了渲染的优化和一致性；
• 最后，开发了一种灵活的感知渲染算法，支持动态视点和场景元素变化，可以实现良好的实时渲染质量和实时渲染速度。

关键词

新型视觉合成、辐射场、3D Gaussians、实时渲染

引言

引言部分首先指出，尽管使用如NeRF方法能够在几个小时内达到视觉上令人满意的结果，但是在达到最佳视觉质量方面，例如使用Mip-NeRF360方法，通常需要更长的优化时间。而本文提出的3D Gaussian Splatting方法在较短的训练时间内就能够实现快速但较低质量的辐射场方法，且在实时渲染性能方面有所提升。

本文强调了3D Gaussian作为一种灵活而表现力丰富的场景表示方法，并指出通过结构化光动作（Structured Motion, SM）校准的相机与Structure-from-Motion生成的点云相结合，可以作为场景表示的一部分。本文提出的实时渲染方法使用最新的GPU来提升3D Gaussian的优化和新视角合成速度。该方法的关键元素包括：

• 引入各向异性3D Gaussian作为高质量、紧凑、无结构和精确的场景表示方法。
• 一个优化3D Gaussian属性的方法，例如形状、光度和方向，通过连续的体积路径追踪来优化它们的表示，并且可以适应GPU。
• 一个快速、可见性感知的传播算法，允许各向异性的splatting和快速反向传播，以及通过跟踪场景遍历来实现排序和遮挡处理。

Related Work

1. 传统场景重建与渲染：早期的新视角合成算法基于光场和结构光扫描，通过捕获照片集合来合成新视角图像。随后提到了体积渲染和基于模型的连续体积路径追踪等技术，并指出这些技术在过去几年中有了显著的改进。

2. 神经渲染与辐射场：这部