Invisible Stitch：生成平滑3D场景的深度修复技术

Invisible Stitch：生成平滑3D场景的深度修复技术

invisible-stitch Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting 项目地址: https://gitcode.com/gh_mirrors/in/invisible-stitch

项目介绍

Invisible Stitch 是一个前沿的开源项目，专注于通过深度修复技术生成平滑的3D场景。该项目由Paul Engstler、Andrea Vedaldi、Iro Laina和Christian Rupprecht共同开发，旨在解决现有3D场景生成方法中存在的几何不一致问题。通过引入一种新颖的深度完成模型，Invisible Stitch能够显著提升场景的几何连贯性，并提供了一种基于真实几何的全新基准测试方案。

项目技术分析

Invisible Stitch的核心技术在于其深度完成模型，该模型通过教师蒸馏和自训练的方式进行训练，以学习3D融合过程。与传统的单目深度估计方法不同，Invisible Stitch的深度完成模型能够更好地利用现有场景的几何信息，从而生成更加平滑和一致的3D场景。此外，项目还引入了高斯拼接技术，进一步提升了生成场景的质量。

项目及技术应用场景

Invisible Stitch的应用场景非常广泛，包括但不限于：

• 虚拟现实（VR）和增强现实（AR）：生成高质量的3D场景，提升用户体验。
• 游戏开发：为游戏场景提供更加真实和连贯的几何结构。
• 建筑和室内设计：快速生成和修改3D模型，辅助设计决策。
• 影视制作：生成逼真的3D场景，用于特效制作和场景渲染。

项目特点

• 几何一致性：通过深度完成模型，显著提升生成场景的几何一致性。
• 高斯拼接技术：采用高斯拼接技术，生成高质量的3D场景。
• 全新基准测试：引入基于真实几何的基准测试方案，更准确地评估生成场景的质量。
• 易于使用：提供详细的文档和示例代码，方便用户快速上手和定制。

如何开始

1. 环境配置：使用environment.yml文件创建Conda环境。

   conda env create -n invisible_stitch --file environment.yml
   conda activate invisible_stitch
   

2. 推理：使用run.py脚本生成3D场景。

   python3 run.py \
     --image "examples/photo-1667788000333-4e36f948de9a.jpeg" \
     --prompt "a street with traditional buildings in Kyoto, Japan" \
     --output_path "./output.ply" \
     --mode "stage"
   

3. 训练：根据提供的步骤设置数据集并训练深度完成模型。

   python3 train.py -m zoedepth -d marigold_nyu \
     --batch_size=12 --debug_mode=0 \
     --save_dir="checkpoints/"
   

4. 基准测试：运行基准测试脚本，评估生成场景的几何一致性。

   python3 scannet_eval.py
   python3 hypersim_eval.py --out_dir ./datasets/hypersim/results_invisible_stitch
   python3 hypersim_concat_eval.py ./datasets/hypersim/results_invisible_stitch
   

Invisible Stitch不仅提供了强大的技术支持，还为用户提供了丰富的文档和示例，帮助用户快速上手并应用于实际项目中。无论你是VR开发者、游戏设计师还是影视特效师，Invisible Stitch都能为你提供强大的工具，帮助你生成更加真实和连贯的3D场景。

invisible-stitch Invisible Stitch: Generating Smooth 3D Scenes with Depth Inpainting 项目地址: https://gitcode.com/gh_mirrors/in/invisible-stitch