ViewCrafter开源项目教程

ViewCrafter开源项目教程

ViewCrafter Official implementation of "ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis" 项目地址: https://gitcode.com/gh_mirrors/vi/ViewCrafter

1. 项目介绍

ViewCrafter是一个用于高保真新视图合成的视频扩散模型的开源项目。它可以从单个或稀疏的参考图像生成高质量的新视图，同时支持高精度的姿态控制。该项目的目标是简化新视图合成过程，并提高合成视频的质量和真实性。

2. 项目快速启动

以下是快速启动ViewCrafter项目的步骤：

克隆项目

首先，你需要克隆项目仓库到本地：

git clone https://github.com/Drexubery/ViewCrafter.git
cd ViewCrafter

创建虚拟环境并安装依赖

接下来，创建一个虚拟环境并安装所需的依赖：

conda create -n viewcrafter python=3.9.16
conda activate viewcrafter
pip install -r requirements.txt

安装PyTorch3D

安装PyTorch3D库：

conda install https://anaconda.org/pytorch3d/pytorch3d/0.7.5/download/linux-64/pytorch3d-0.7.5-py39_cu117_pyt1131.tar.bz2

下载预训练模型

下载预训练的DUSt3R模型：

mkdir -p checkpoints/
wget https://download.europe.naverlabs.com/ComputerVision/DUSt3R/DUSt3R_ViTLarge_BaseDecoder_512_dpt.pth -P checkpoints/

运行推理

对于单视图新视图合成，执行以下步骤：

1. 下载预训练的ViewCrafter_25模型，并将其放置在checkpoints/model.ckpt目录下。
2. 使用以下脚本运行inference.py。请参考配置文档和渲染文档来设置推理参数和相机轨迹。

sh run.sh

对于稀疏视图新视图合成，执行以下步骤：

1. 下载预训练的ViewCrafter_25_sparse模型，并将其放置在checkpoints/model_sparse.ckpt目录下。
2. 使用以下脚本运行inference.py。调整--bg_trd参数来清理点云；较高的值会产生更干净的点云，但可能会在背景中创建孔洞。

sh run_sparse.sh

运行本地Gradio演示

下载预训练的ViewCrafter_25模型，并将其放置在checkpoints/model.ckpt目录下，然后运行：

python gradio_app.py

3. 应用案例和最佳实践

生成新视图视频

你可以使用项目提供的脚本和预训练模型来生成新视图视频。确保你已经根据项目配置文件设置了正确的参数，并且使用了适当的参考图像。

调整渲染设置

为了获得最佳的渲染效果，你可能需要根据你的特定需求调整渲染设置，例如相机轨迹、光线效果等。

使用不同的模型

项目提供了多种预训练模型，你可以尝试使用不同的模型来找到最适合你需求的模型。

4. 典型生态项目

ViewCrafter可以与其他开源项目集成，例如用于图像处理的库、3D建模工具等，以创建更加复杂和多样化的视觉效果。探索这些集成可以帮助你更好地利用ViewCrafter的潜力。

ViewCrafter Official implementation of "ViewCrafter: Taming Video Diffusion Models for High-fidelity Novel View Synthesis" 项目地址: https://gitcode.com/gh_mirrors/vi/ViewCrafter