Intrinsic Image Diffusion 使用教程

Intrinsic Image Diffusion 使用教程

1. 项目介绍

Intrinsic Image Diffusion 是一个用于单视角材料估计的开源项目。该项目利用扩散模型的强大先验，将材料估计任务形式化为概率问题。与之前的工作相比，该方法能为单个输入视图生成多种解决方案，具有更多细节和更清晰的边缘特征。

2. 项目快速启动

环境搭建

首先，创建一个conda环境并安装必要的依赖：

conda env create -n iid -f environment.yml
conda activate iid
pip install stable-diffusion-sdkit==2.1.5 --no-deps

可选地，为了提高性能，推荐安装XFormers：

conda install xformers -c xformers

模型下载

将材料扩散模型下载到 models 文件夹：

mkdir -p models/material_diffusion
wget "https://syncandshare.lrz.de/dl/fiAomi6K8g5dywJBwAxFiZ/iid_e250.pth" -O "models/material_diffusion/iid_e250.pth"

对于完整流程，还需要下载OmniData模型到 models 文件夹：

mkdir -p models/geometry_prediction
wget "https://zenodo.org/records/10447888/files/omnidata_dpt_depth_v2.ckpt?download=1" -O "models/geometry_prediction/omnidata_dpt_depth_v2.pth"
wget "https://zenodo.org/records/10447888/files/omnidata_dpt_normal_v2.ckpt?download=1" -O "models/geometry_prediction/omnidata_dpt_normal_v2.pth"

运行完整流程

运行以下命令以执行完整流程：

python -m iid

这将加载测试图像，预测几何形状和材料，扩展数据集，然后优化照明。

3. 应用案例和最佳实践

几何预测

使用以下命令预测几何形状：

python -m iid.geometry_prediction logger=console

输入数据将包括深度和法线。

材料扩散

运行以下命令进行材料扩散：

python -m iid.material_diffusion logger=console

默认情况下，该脚本会预测10个材料解释并计算平均值。输入数据将包括反照率、粗糙度和金属度。

照明优化

使用以下命令进行照明优化：

python -m iid.lighting_optimization logger=console

输入数据将包括着色、重渲染和渲染。

完成所有步骤后，可以使用以下命令渲染结果：

python -m iid.test logger=console

4. 典型生态项目

Intrinsic Image Diffusion 项目是一个复杂的系统，它依赖于多个开源项目，例如 Latent Diffusion Models、Hydra 配置管理和 PyTorch Lightning。这些项目为Intrinsic Image Diffusion 提供了基础架构和功能，使得材料估计任务成为可能。通过这种方式，开源生态系统的各个项目相互协作，共同推进技术的发展和创新。