开源项目教程：diffusion-pipe

开源项目教程：diffusion-pipe

diffusion-pipe A pipeline parallel training script for diffusion models. 项目地址: https://gitcode.com/gh_mirrors/di/diffusion-pipe

1. 项目介绍

diffusion-pipe 是一个用于训练扩散模型（diffusion models）的管道并行训练脚本。它支持多种模型，包括SDXL、Flux、LTX-Video、HunyuanVideo（t2v）、Cosmos、Lumina Image 2.0、Wan2.1（t2v 和 i2v）以及 Chroma。该项目旨在通过管道并行ism来训练大于单个GPU内存限制的模型。它提供了多种功能，如Tensorboard日志、评估集指标计算、训练状态检查点以及多进程多GPU预缓存等。

2. 项目快速启动

首先，你需要克隆这个仓库并初始化子模块：

git clone --recurse-submodules https://github.com/tdrussell/diffusion-pipe.git

如果你已经克隆了仓库但忘记了初始化子模块，可以使用以下命令：

git submodule init
git submodule update

接着，安装Miniconda并创建一个新的环境：

conda create -n diffusion-pipe python=3.12
conda activate diffusion-pipe

安装nvcc，确保它与你的PyTorch系统中的CUDA版本兼容。

然后，安装依赖项：

pip install -r requirements.txt

如果你的系统需要支持Cosmos模型，还需要安装TransformerEngine。

准备好数据集，数据集应该包含图像或视频文件及其对应的字幕文件。

最后，启动训练：

NCCL_P2P_DISABLE="1" NCCL_IB_DISABLE="1" deepspeed --num_gpus=1 train.py --deepspeed --config examples/hunyuan_video.toml

请注意，RTX 4000系列可能需要设置这两个环境变量。其他GPU可能不需要。

如果你想从检查点恢复训练，可以重新运行相同的命令并添加--resume_from_checkpoint标志。

3. 应用案例和最佳实践

为了更好地使用diffusion-pipe，你应该阅读examples目录中的配置文件。这些文件中几乎每个设置都有注释，解释了它们的作用。在开始训练之前，复制并编辑这些配置文件，确保所有路径都符合你的设置。

以下是一些最佳实践：

• 确保你的数据集组织得当，图像和视频文件及其字幕文件应该同名并位于同一目录下。
• 在配置文件中设置适当的模型参数和训练设置。
• 使用Tensorboard来监控训练进度和性能。

4. 典型生态项目

diffusion-pipe 是扩散模型训练的一个工具，它可以与多个生态项目结合使用，例如：

• Deepspeed：一个用于优化训练性能的库，它支持管道并行训练。
• PyTorch：一个流行的深度学习框架，用于定义模型和训练。
• Cosmos：一个基于Transformer的模型，可以与diffusion-pipe结合使用。

通过整合这些项目，你可以构建更加强大和高效的深度学习工作流。

diffusion-pipe A pipeline parallel training script for diffusion models. 项目地址: https://gitcode.com/gh_mirrors/di/diffusion-pipe