Custom Diffusion 项目使用教程

Custom Diffusion 项目使用教程

custom-diffusion Custom Diffusion: Multi-Concept Customization of Text-to-Image Diffusion (CVPR 2023) 项目地址: https://gitcode.com/gh_mirrors/cu/custom-diffusion

1. 项目目录结构及介绍

Custom Diffusion 项目的目录结构如下：

custom-diffusion/
├── assets/
├── configs/
│   └── custom-diffusion/
├── customconcept101/
├── prompts/
├── scripts/
├── src/
├── LICENSE.md
├── MIT_License.md
├── README.md
├── sample.py
└── train.py

目录介绍：

• assets/：存放项目所需的资源文件，如数据集、模型文件等。
• configs/custom-diffusion/：存放项目的配置文件，包括训练和推理的配置。
• customconcept101/：存放 CustomConcept101 数据集的相关文件。
• prompts/：存放用于生成图像的提示文本。
• scripts/：存放项目的脚本文件，如训练脚本、推理脚本等。
• src/：存放项目的源代码，包括模型定义、训练逻辑等。
• LICENSE.md 和 MIT_License.md：项目的许可证文件。
• README.md：项目的介绍文档。
• sample.py：用于生成图像的脚本。
• train.py：用于训练模型的脚本。

2. 项目启动文件介绍

train.py

train.py 是 Custom Diffusion 项目的主要启动文件之一，用于训练自定义的文本到图像扩散模型。

主要功能：

• 加载预训练的 Stable Diffusion 模型。
• 根据用户提供的少量图像数据进行微调。
• 保存微调后的模型权重。

使用方法：

python train.py --config configs/custom-diffusion/finetune_addtoken.yaml --data_dir data/cat --real_reg_dir real_reg/samples_cat --output_dir logs/cat

sample.py

sample.py 是用于生成图像的脚本，可以根据微调后的模型生成新的图像。

主要功能：

• 加载微调后的模型权重。
• 根据用户提供的提示文本生成图像。

使用方法：

python sample.py --prompt "a <new1> cat playing with a ball" --delta_ckpt logs/cat/checkpoints/delta_epoch=000004.ckpt --ckpt pretrained_model_path

3. 项目的配置文件介绍

configs/custom-diffusion/finetune_addtoken.yaml

该配置文件用于定义训练过程中的参数设置，包括学习率、批量大小、训练步数等。

主要配置项：

• learning_rate: 学习率，用于控制模型参数更新的速度。
• train_batch_size: 批量大小，每次训练时使用的样本数量。
• max_train_steps: 最大训练步数，控制训练的总迭代次数。
• num_class_images: 用于正则化的真实图像数量。

示例配置：

learning_rate: 1e-5
train_batch_size: 2
max_train_steps: 250
num_class_images: 200

configs/custom-diffusion/finetune_joint.yaml

该配置文件用于定义多概念联合训练的参数设置。

主要配置项：

• concepts: 定义多个概念的训练数据路径。
• prior_loss_weight: 先验损失权重，用于控制正则化的强度。

示例配置：

concepts:
  - name: "wooden pot"
    data_dir: "data/wooden_pot"
    real_reg_dir: "real_reg/samples_wooden_pot"
  - name: "cat"
    data_dir: "data/cat"
    real_reg_dir: "real_reg/samples_cat"
prior_loss_weight: 1.0

通过以上配置文件，用户可以根据自己的需求调整训练参数，以获得更好的模型效果。

custom-diffusion Custom Diffusion: Multi-Concept Customization of Text-to-Image Diffusion (CVPR 2023) 项目地址: https://gitcode.com/gh_mirrors/cu/custom-diffusion