Grendel-GS：大规模高分辨率场景的分布式高斯散射训练

Grendel-GS：大规模高分辨率场景的分布式高斯散射训练

Grendel-GS Ongoing research training gaussian splatting at scale by distributed system 项目地址: https://gitcode.com/gh_mirrors/gr/Grendel-GS

项目介绍

Grendel-GS 是一个分布式高斯散射训练系统，旨在帮助 3D Gaussian Splatting（3DGS）技术实现其扩展性。传统的 3DGS 训练依赖于单 GPU，这在处理高分辨率和大规模三维重建任务时受到 GPU 内存容量的限制。Grendel-GS 通过在多个 GPU 上分配 3DGS 参数并并行计算，有效突破了这一限制，使得训练过程不仅速度更快，还能支持更大面积、更高分辨率的场景重建。

项目技术分析

Grendel-GS 采用了分布式系统设计，通过 PyTorch 的 torchrun 命令行工具实现多 GPU 训练。此外，它支持批量大小大于 1 的训练，通过 --bsz 参数指定批量大小。这一设计使得 Grendel-GS 可以容纳更多的 Gaussian 原语，在大型和高分辨率场景中实现更快的训练速度和更好的 PSNR（峰值信噪比）。

项目基于 PyTorch 和 CUDA 扩展，包含了定制的 CUDA 内核，用于渲染等操作。Grendel-GS 保持了原始 3DGS 算法，使得它可以作为任何高斯散射工作流程或应用的直接和安全替代品。

项目及技术应用场景

Grendel-GS 的主要应用场景包括但不限于：

• 大规模三维重建：利用多个 GPU 的并行计算能力，处理大型和高分辨率的三维场景。
• 实时渲染：通过提高训练速度和模型质量，实现实时渲染效果。
• 视觉质量优化：提高 PSNR，使得渲染结果更加逼真。

例如，在使用 4 个 GPU 的情况下，Grendel-GS 可以实现以下效果：

• 将 Mip360 的训练速度提高 3.5 倍以上。
• 支持 直接训练超过 4000 万个 Gaussian 的大型 4K 场景（如 Mega-NeRF Rubble），而不会出现内存溢出。
• 在仅仅 45 秒内，将 Temple&Tanks Truck 场景的 PSNR 提高到 23.79（基于 7000 张图像）。

项目特点

• 分布式训练支持：通过多 GPU 训练，显著提高训练速度和模型质量。
• 内存容量扩展：支持更大规模的 Gaussian 原语，突破单 GPU 内存限制。
• 兼容性：保持原始 3DGS 算法，可直接替换原始实现。
• 易于部署：提供详细的安装说明和环境设置，降低使用门槛。

Grendel-GS 的这些特点使其成为大规模三维重建和高分辨率场景渲染的理想选择，为相关领域的研究和应用提供了强大的工具支持。

使用指南

环境设置

首先，使用以下命令克隆仓库：

git clone git@github.com:nyu-systems/Grendel-GS.git --recursive

确保安装了 Conda、兼容的 GPU 驱动和 CUDA 环境。然后安装必要的 Python 包，包括 PyTorch、Torchvision、Plyfile 和 tqdm。编译并安装两个依赖的 CUDA 仓库：diff-gaussian-rasterization 和 simple-knn。

项目提供了一个 YAML 文件用于环境设置：

conda env create --file environment.yml
conda activate gaussian_splatting

数据集

Grendel-GS 使用 colmap 格式加载数据集。因此，在训练前请下载并解压 colmap 数据集，例如 Mip360 数据集和 Tanks&Temple 以及 DeepBlending 的 4 个场景。

总结

Grendel-GS 作为一个分布式高斯散射训练系统，为大规模三维重建和高分辨率场景渲染提供了强大的支持。通过多 GPU 训练和内存容量扩展，它不仅提高了训练速度，还提升了模型质量，是相关领域研究和应用的宝贵资源。如果您正在寻找一种高效、可靠的三维重建解决方案，Grendel-GS 绝对值得一试。

Grendel-GS Ongoing research training gaussian splatting at scale by distributed system 项目地址: https://gitcode.com/gh_mirrors/gr/Grendel-GS