Interactive3D 开源项目最佳实践教程

Interactive3D 开源项目最佳实践教程

1. 项目介绍

Interactive3D 是一个创新的交互式3D生成框架，它通过丰富的3D交互功能，使用户能够对生成过程进行精确控制。该框架采用两个级联阶段构建，使用不同的3D表示方法。第一阶段使用高斯散点（Gaussian Splatting）进行直接用户交互，允许用户在任何中间步骤通过添加和移除组件、可变形和刚性拖拽、几何变换以及语义编辑来修改和指导生成方向。随后，高斯散点被转换为InstantNGP。项目还引入了一个新颖的交互式哈希细化模块，用于在第二阶段进一步添加细节和提取几何信息。

2. 项目快速启动

环境准备

首先，创建一个Python环境并激活它：

conda create -n inter python=3.9
conda activate inter

升级pip以确保安装速度和兼容性：

python3 -m pip install --upgrade pip

安装依赖：

pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
pip install -r requirements.txt

安装terminfo（如果需要）：

sudo apt-get install libncurses5-dev libncursesw5-dev

启动项目

从给定的Gaussian Splatting结果开始，或者生成一个新的：

cd ../../gsgen
python main.py --config-name=base prompt.prompt="<your prompt>"

将Gaussian Splatting转换为NeRF：

cd ..
python launch.py --config configs/fit_gs.yaml --train --gpu 0 system.prompt_processor.prompt="<your prompt>" trainer.max_steps=1800

[可选]细化几何信息：

python launch.py --config configs/geo_refine.yaml --train --gpu 0 system.prompt_processor.prompt="<your prompt>" resume=path_to_your/ckpts/last.ckpt trainer.max_steps=20000 system.init_type='gsgen' system.only_super=True

在几何细化后，运行以下脚本以获得标准的NeRF表示，以供进一步使用：

python launch.py --config configs/post_geo_refine.yaml --train --gpu 1 system.prompt_processor.prompt="<your prompt>" trainer.max_steps=3000

3. 应用案例和最佳实践

典型应用案例

• 交互式创作：艺术家和设计师可以使用Interactive3D进行交互式创作，实时调整和预览3D模型。
• 游戏开发：游戏开发者可以利用Interactive3D生成复杂的3D场景，提高游戏世界的真实感。
• 科研模拟：科研人员可以使用Interactive3D进行空间模拟和可视化，以更直观地展示研究成果。

最佳实践

• 确保环境正确：在开始之前，确保所有依赖和环境配置都是正确的。
• 分阶段开发：按照项目的两个阶段进行开发，先从Gaussian Splatting开始，然后转换为NeRF。
• 细化过程：在细化几何信息时，使用适当的参数和训练步骤以达到最佳效果。
• 迭代优化：在开发过程中，不断迭代和优化模型，以提高生成质量。

4. 典型生态项目

• gsgen：用于生成Gaussian Splatting的库。
• instant-ngp：用于将Gaussian Splatting转换为NeRF的库。
• threestudio：用于处理和优化3D模型的库。

通过这些典型生态项目，开发者可以更高效地使用Interactive3D框架，并在其基础上构建更多有趣的应用。