【论文阅读|3DGS】CityGaussian: Real-time High-quality Large-ScaleScene Rendering with Gaussians（快读版）

文章链接：https://arxiv.org/abs/2404.01133

项目代码：https://github.com/DekuLiuTesla/CityGaussian

摘要 

• 本文介绍了CityGaussian（CityGS），这是一种用于大规模3D高斯绘制（3DGS）训练和渲染的新方法，能够实现实时、高质量的大规模场景渲染。
• CityGS采用了一种新颖的分而治之的训练方法和细节层次（Level-of-Detail，LoD）策略，以提高大规模3DGS训练和渲染的效率。
• 通过全局场景先验和自适应训练数据选择，CityGS能够高效训练并无缝融合。基于融合的高斯原语，我们通过压缩生成不同细节层次，并快速渲染不同尺度的场景。
• 广泛的实验结果表明，CityGS在大规模场景渲染质量上达到了最先进的水平，能够在不同尺度上实现大规模场景的一致实时渲染。
• 项目页面可在项目链接访问。

1. 引言(Introduction)

• 3D大规模场景重建是增强现实/虚拟现实（AR/VR）、航空测量、智能城市和自动驾驶等领域的关键组成部分，它追求在不同尺度上对大面积区域进行高保真重建和实时渲染。
• 过去几年，这一领域主要由基于神经辐射场（NeRF）的方法主导，但这些方法在细节保真度或性能上存在不足。
• 3DGS作为一种有前景的替代方案出现，与NeRF不同，它使用显式的3D高斯作为原语来表示场景，并通过高效的光栅化算法实现实时渲染速度和高质量视觉效果。
• 然而，将3DGS应用于大规模场景重建时面临GPU内存开销大和渲染速度瓶颈等问题。
• 为了解决这些问题，本文提出了CityGaussian（CityGS），采用分而治之策略，将整个场景划分为空间上相邻的块，并行训练。每个块由较少的高斯表示，并使用较少的数据进行训练，从而减轻了单个GPU的内存成本。
• 通过全局几何先验指导每个块的训练，避免了块间的交互干扰，并实现了无缝融合。
• 为了减轻渲染大规模高斯时的计算负担，本文提出了一种块级的LoD策略，只向光栅化器提供必要的高斯，同时消除额外的计算成本。
• 实验结果表明，CityGS能够在大幅不同的视场下保持实时大规模场景渲染。

贡献总结：

1. 提出了一种有效的分而治之策略，用于并行重建大规模3D高斯绘制。
2. 通过提出的LoD策略，在不同尺度下实现实时大规模场景渲染，同时最小化质量损失。</