Invisible Stitch 项目使用教程

Invisible Stitch 项目使用教程

invisible-stitch Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting 项目地址: https://gitcode.com/gh_mirrors/in/invisible-stitch

1. 项目的目录结构及介绍

Invisible Stitch 项目的目录结构如下：

invisible-stitch/
├── benchmark/
│   └── scannet_process.py
├── examples/
├── train_test_inputs/
├── utils/
├── zoedepth/
├── .gitignore
├── .gitmodules
├── LICENSE
├── README.md
├── environment.yml
├── predict_nyu_marigold.py
├── predict_places_marigold.py
├── project_places_depth_preds.py
├── requirements.txt
├── run.py
├── run_gradio.py
└── train.py

目录结构介绍

• benchmark/: 包含用于评估场景生成质量的脚本。
• examples/: 包含示例图像文件。
• train_test_inputs/: 包含训练和测试输入数据。
• utils/: 包含各种实用工具脚本。
• zoedepth/: 包含与 ZoeDepth 模型相关的文件。
• .gitignore: Git 忽略文件配置。
• .gitmodules: Git 子模块配置。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文档。
• environment.yml: Conda 环境配置文件。
• predict_nyu_marigold.py: 用于预测 NYU Depth v2 数据的脚本。
• predict_places_marigold.py: 用于预测 Places365 数据的脚本。
• project_places_depth_preds.py: 用于处理 Places365 深度预测的脚本。
• requirements.txt: 项目依赖库列表。
• run.py: 项目启动脚本。
• run_gradio.py: 用于运行 Gradio 界面的脚本。
• train.py: 用于训练模型的脚本。

2. 项目的启动文件介绍

run.py

run.py 是 Invisible Stitch 项目的主要启动文件，用于生成 3D 场景。以下是该脚本的主要功能和参数：

python3 run.py \
    --image "examples/photo-1667788000333-4e36f948de9a.jpeg" \
    --prompt "a street with traditional buildings in Kyoto, Japan" \
    --output_path "/output.ply" \
    --mode "stage"

参数说明

• --image: 输入图像的路径。
• --prompt: 用于生成场景的文本提示。
• --output_path: 输出 3D 场景文件的路径。
• --mode: 生成模式，可选值包括：
  • single: 简单的深度投影（无幻觉）。
  • stage: 单步幻觉，生成输入图像左右两侧的场景。
  • 360: 360 度幻觉，生成围绕输入图像的完整场景。

3. 项目的配置文件介绍

environment.yml

environment.yml 是 Conda 环境配置文件，用于创建项目所需的运行环境。通过以下命令创建并激活环境：

conda env create -n invisible_stitch --file environment.yml
conda activate invisible_stitch

requirements.txt

requirements.txt 列出了项目所需的所有 Python 依赖库。可以使用以下命令安装这些依赖：

pip install -r requirements.txt

zoedepth/utils/config.py

config.py 文件位于 zoedepth/utils/ 目录下，包含项目的配置信息。主要用于设置数据路径、模型路径等。

# 示例配置
DATA_DIR = "/path/to/data"
MODEL_DIR = "/path/to/model"

通过修改这些配置，可以自定义项目的运行环境。

invisible-stitch Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting 项目地址: https://gitcode.com/gh_mirrors/in/invisible-stitch