DN-Splatter 项目使用教程

DN-Splatter 项目使用教程

1. 项目介绍

DN-Splatter 是一个扩展了 3D Gaussian Splatting 技术的开源项目，通过引入深度和法线线索来处理具有挑战性的室内数据集，并展示高效的网格提取技术。该项目旨在提高 VR 和 AR 应用中的高保真 3D 重建效果，特别是在室内场景中。

主要特点

• 深度和法线监督：通过深度信息和法线线索来优化 3D Gaussian Splatting 过程。
• 高效的网格提取：提供多种网格提取方法，包括 Poisson 重建和 TSDF 融合。
• 支持多种数据集：支持 MuSHRoom、Replica、ScanNet++ 等多种室内数据集。

2. 项目快速启动

安装

方法 1：使用 Conda 和 Pip

1. 激活 Nerfstudio 环境：

   conda activate nerfstudio
   

2. 克隆并安装 DN-Splatter：

   git clone https://github.com/maturk/dn-splatter
   cd dn_splatter/
   pip install setuptools==69.5.1
   pip install -e .
   

方法 2：使用 Pixi

1. 下载 Pixi 包管理器并安装 DN-Splatter：

   git clone https://github.com/maturk/dn-splatter
   cd dn_splatter/
   pixi install
   

2. 运行示例：

   pixi run example
   

3. 激活 Conda 环境：

   pixi shell
   

使用

以下是一些常用的命令和设置：

ns-train dn-splatter --data PATH_TO_DATA \
  --pipeline.model.use-depth-loss True \
  --pipeline.model.sensor-depth-lambda 0.2 \
  --pipeline.model.use-depth-smooth-loss True \
  --pipeline.model.use-normal-loss True \
  --pipeline.model.normal-supervision depth

3. 应用案例和最佳实践

应用案例

室内场景重建

DN-Splatter 特别适用于室内场景的高保真 3D 重建，例如使用 MuSHRoom 数据集进行房间级别的重建。

物体中心重建

对于小型物体，可以使用以下设置进行重建：

ns-train dn-splatter --data PATH_TO_DATA \
  --pipeline.model.use-depth-smooth-loss True \
  --pipeline.model.use-sparse-loss True \
  --pipeline.model.use-binary-opacities True

最佳实践

• 数据预处理：确保输入数据的质量，特别是深度和法线信息。
• 参数调优：根据具体应用场景调整深度和法线监督的权重。
• 网格提取：根据场景大小选择合适的网格提取方法，如 Poisson 或 TSDF。

4. 典型生态项目

Nerfstudio

DN-Splatter 是基于 Nerfstudio 框架开发的，Nerfstudio 是一个用于 NeRF（Neural Radiance Fields）的开源项目，提供了丰富的工具和库来支持 3D 重建和渲染。

Omnidata

Omnidata 是一个用于生成单目深度和法线估计的预训练模型，DN-Splatter 支持使用 Omnidata 生成的法线进行监督。

ScanNet++

ScanNet++ 是一个大规模的室内 3D 扫描数据集，DN-Splatter 支持使用 ScanNet++ 数据集进行训练和评估。

通过这些生态项目的支持，DN-Splatter 能够更好地处理复杂的室内场景，提供高质量的 3D 重建结果。