Intrinsic LoRA: 开源项目教程

Intrinsic LoRA: 开源项目教程

intrinsic-lora Official repo of Generative Models: What do they know? Do they know things? Let's find out! 项目地址: https://gitcode.com/gh_mirrors/in/intrinsic-lora

1. 项目介绍

Intrinsic LoRA 是一个开源项目，旨在探索生成模型（如GANs、自回归模型和扩散模型）内编码的内在知识。该项目通过一种名为 Low-Rank Adaptators (LoRA) 的轻量级方法，可以从不同的生成器中恢复出内在图像属性（如深度、法线、反光度和着色）。Intrinsic LoRA 的研究结果表明，即便是使用极少的可学习参数，也能通过这种方法成功地从生成模型中恢复出场景的内在属性。

2. 项目快速启动

以下是快速启动 Intrinsic LoRA 项目的步骤：

首先，确保安装了以下依赖项：

# Conda
conda install pillow=9.2.0 python=3.8.15 pytorch=1.13.0 tokenizers=0.13.0.dev0 torchvision=0.14.0 tqdm=4.64.1 transformers=4.25.1

# pip
pip install accelerate==0.22.0 diffusers==0.20.2 einops==0.6.1 huggingface-hub==0.16.4 numpy==1.22.4 wandb==0.12.21

然后，运行以下命令以训练一个用于提取表面法线的单步 UNet 模型：

export MODEL_NAME="runwayml/stable-diffusion-v1-5"
export DATA_DIR="path/to/DIODE/normals"
export PSEUDO_DIR="path/to/pseudo/labels"
export HF_HOME="path/to/HuggingFace/cache/folder"

accelerate launch sd_single_diode_pseudo_normal.py \
--pretrained_model_name_or_path=$MODEL_NAME \
--train_data_dir=$DATA_DIR \
--pseudo_root=$PSEUDO_DIR \
--output_dir="path/to/output/dir" \
--train_batch_size=4 \
--dataloader_num_workers=4 \
--learning_rate=1e-4 \
--report_to="wandb" \
--lr_warmup_steps=0 \
--max_train_steps=20000 \
--validation_steps=2500 \
--checkpointing_steps=2500 \
--rank=8 \
--scene_types='outdoor,indoors' \
--num_train_imgs=4000 \
--unified_prompt='surface normal' \
--resume_from_checkpoint='latest' \
--seed=1234

请注意，您需要根据您的数据集和训练环境调整 DATA_DIR、PSEUDO_DIR 和 HF_HOME 等路径。

3. 应用案例和最佳实践

Intrinsic LoRA 可以应用于多种场景，例如：

• 从生成图像中提取深度信息，用于增强现实应用。
• 通过恢复法线信息，改进计算机图形中的渲染效果。
• 利用反光度和着色信息，增强图像编辑和风格转换。

最佳实践建议：

• 使用高质量的数据集进行训练，以提高内在属性恢复的准确性。
• 尽可能使用与你的应用场景相匹配的生成模型预训练权重。
• 调整模型参数和训练步骤，以适应特定的性能要求和资源限制。

4. 典型生态项目

Intrinsic LoRA 是生成模型研究领域的一个典型项目，它与其他开源项目一起构成了一个丰富的生态系统，包括但不限于以下项目：

• Stable Diffusion：一个稳定且高质量的文本到图像生成模型。
• Diffusers：用于创建和训练扩散模型的开源库。
• Transformers：提供了一系列用于自然语言处理的预训练模型。

通过这些项目的结合使用，开发者可以构建出功能强大的生成模型应用。

intrinsic-lora Official repo of Generative Models: What do they know? Do they know things? Let's find out! 项目地址: https://gitcode.com/gh_mirrors/in/intrinsic-lora