DepthLab项目使用教程

DepthLab项目使用教程

DepthLab Official implementation of "DepthLab: From Partial to Complete" 项目地址: https://gitcode.com/gh_mirrors/de/DepthLab

1. 项目介绍

DepthLab是一个强大的深度信息修复基础模型，适用于多种下游任务以提升性能。许多任务自然包含部分深度信息，例如3D高斯修复、LiDAR深度完成、稀疏视图重建以及文本到场景生成等。DepthLab模型利用这些已知信息来实现改进的深度估计，增强下游任务的表现。本项目旨在激励更多相关任务采用DepthLab。

2. 项目快速启动

克隆仓库

首先，需要使用git克隆仓库：

git clone https://github.com/Johanan528/DepthLab.git
cd DepthLab

安装依赖

使用conda安装环境依赖：

conda env create -f environment.yaml
conda activate DepthLab

下载预训练模型

下载所需的预训练模型权重文件，包括：

• Marigold模型权重
• 图像编码器模型权重
• DepthLab模型权重（denoising_unet.pth, reference_unet.pth, mapping_layer.pth）

测试案例

准备测试所需的图片、掩码和已知深度信息。掩码可以使用PNG/JPG格式或Numpy格式，黑色（0）代表已知区域，白色（1）代表预测区域。已知深度信息应为Numpy格式。图片可以使用PNG/JPG格式。

在test_cases文件夹中提供了一个测试案例。

运行推理

进入scripts目录，运行推理脚本：

cd scripts
bash infer.sh

推理结果将在output/in-the-wild_example目录中生成。

3. 应用案例和最佳实践

• 推理设置：可以通过修改infer.sh中的参数来自定义推理过程，例如--denoise_steps（降噪步骤数）、--processing_res（处理分辨率）、--normalize_scale（归一化比例）、--strength（预测强度）、--blend（是否使用混合扩散）和--refine（是否细化深度图）。

• 案例测试：为了获得最佳的测试效果，应确保掩码的大小与处理分辨率相匹配，特别是在深度完成场景中。

4. 典型生态项目

DepthLab项目可以与其他开源项目配合使用，例如：

• Marigold：作为DepthLab项目开发的基础代码库之一，Marigold提供了深度图修复的基础。

• MagicAnimate：另一个基础代码库，用于图像修复和动画生成。

通过结合这些生态项目，可以进一步扩展DepthLab模型的应用范围和功能。

DepthLab Official implementation of "DepthLab: From Partial to Complete" 项目地址: https://gitcode.com/gh_mirrors/de/DepthLab