InstantSplat: 快速入门与使用教程

InstantSplat: 快速入门与使用教程

InstantSplat InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds 项目地址: https://gitcode.com/gh_mirrors/in/InstantSplat

1. 项目介绍

InstantSplat 是一个基于稀疏视角的大规模场景重建方法，采用高斯散点技术。它支持多种散点技术，包括3D-GS、2D-GS和Mip-Splatting。该项目旨在为用户提供一种快速、高效的三维场景重建解决方案。

2. 项目快速启动

环境准备

首先，你需要克隆 InstantSplat 仓库并下载预训练模型。

git clone --recursive https://github.com/NVlabs/InstantSplat.git
cd InstantSplat
mkdir -p mast3r/checkpoints/
wget https://download.europe.naverlabs.com/ComputerVision/MASt3R/MASt3R_ViTLarge_BaseDecoder_512_catmlpdpt_metric.pth -P mast3r/checkpoints/

接着，创建一个虚拟环境并安装所需的依赖。

conda create -n instantsplat python=3.10.13 cmake=3.14.0 -y
conda activate instantsplat
conda install pytorch torchvision pytorch-cuda=12.1 -c pytorch -c nvidia
pip install -r requirements.txt
pip install submodules/simple-knn
pip install submodules/diff-gaussian-rasterization
pip install submodules/fused-ssim

编译 CUDA 核心可选步骤

为了加快运行速度，你可以编译 RoPE 的 CUDA 核心。

cd croco/models/curope/
python setup.py build_ext --inplace

或者，你也可以使用预构建的 Docker 镜像：

docker pull dockerzhiwen/instantsplat_public:2.0

使用 InstantSplat

在使用前，你需要准备数据集。可以从 Hugging Face 或 Google Drive 下载预处理的 数据集。

cd <data_path>

然后运行以下命令进行训练和输出视频（无 GT 参考通过插值渲染）：

bash scripts/run_infer.sh

如果需要进行训练和评估（有 GT 参考进行渲染），则使用以下命令：

bash scripts/run_eval.sh

3. 应用案例和最佳实践

InstantSplat 可用于各种场景重建任务，以下是一些应用案例：

• 室内场景重建：利用 InstantSplat 快速重建室内环境，用于游戏开发、虚拟现实等领域。
• 城市景观重建：通过稀疏视角重建技术，快速构建城市景观的三维模型。

最佳实践建议：

• 确保数据集的质量和覆盖范围，这对于重建结果至关重要。
• 使用预训练模型作为起点，可以根据具体任务进行微调。

4. 典型生态项目

InstantSplat 的生态系统中包括以下典型项目：

• Gaussian-Splatting：一种用于三维重建的高斯散点技术。
• diff-gaussian-rasterization：用于加速散点渲染的库。
• DUSt3R：一个基于深度学习的稀疏三维重建框架。

通过这些生态项目，用户可以进一步扩展和优化 InstantSplat 的功能和应用范围。

InstantSplat InstantSplat: Sparse-view SfM-free Gaussian Splatting in Seconds 项目地址: https://gitcode.com/gh_mirrors/in/InstantSplat