WanControl项目安装与配置指南

WanControl项目安装与配置指南

WanControl Wan2.1 with Controlnet 项目地址: https://gitcode.com/gh_mirrors/wa/WanControl

1. 项目基础介绍

WanControl是一个开源项目，基于Alibaba的Wan2.1视频生成模型。该项目通过集成ControlNet技术，为Wan2.1模型增加了对视频生成过程中控制信号的使用，如图片或视频，以实现更精细化的视频生成控制。WanControl项目主要使用Python编程语言。

2. 项目使用的关键技术和框架

• ControlNet: 实现可控图像生成的技术。
• DiffSynth-Studio: 用于训练和预处理的数据代码库。
• PIXART-δ: 在DiT架构下ControlNet的实现。
• PyTorch: 用于构建和训练模型的深度学习框架。

3. 项目安装和配置的准备工作与详细步骤

准备工作

• 确保您的计算机上已安装Python，建议版本为3.7或更高。
• 安装Git以便克隆项目仓库。
• 确认您的系统已安装以下依赖：pip, CUDA（用于GPU加速）。

安装步骤

克隆仓库

首先，您需要克隆WanControl的GitHub仓库到本地计算机：

git clone https://github.com/shalfun/WanControl.git
cd WanControl

安装依赖

接着，在项目目录中安装所需的Python依赖：

pip install -e .

数据准备

确保您的数据集按照以下结构组织：

data/example_dataset/
├── metadata.csv
└── train
    ├── video_00001.mp4
    ├── video_00001_c.mp4
    ├── image_00002.jpg
    └── image_00002_c.jpg

metadata.csv文件应包含以下列：

file_name,text,control_name
video_00001.mp4,"video description",video_00001_c.mp4
image_00002.jpg,"image description",image_00002_c.jpg

模型下载

使用modelscope-cli下载模型，例如：

pip install modelscope
modelscope download Wan-AI/Wan2.1-T2V-1.3B --local_dir your/model/path/Wan2.1-T2V-1.3B

或者，使用huggingface-cli下载：

pip install "huggingface_hub[cli]"
huggingface-cli download Wan-AI/Wan2.1-T2V-14B --local-dir ./Wan2.1-T2V-14B

确保以下检查点在指定路径下可用：

• 文本编码器：models_t5_umt5-xxl-enc-bf16.pth
• VAE：Wan2.1_VAE.pth
• DiT模型：diffusion_pytorch_model.safetensors

预处理

运行预处理脚本以准备训练数据：

CUDA_VISIBLE_DEVICES="0" python examples/wanvideo/train_wan_t2v.py --task data_process --dataset_path data/example_dataset --output_path ./models --text_encoder_path "your/model/path/Wan2.1-T2V-1.3B/models_t5_umt5-xxl-enc-bf16.pth" --vae_path "your/model/path/Wan2.1-T2V-1.3B/Wan2.1_VAE.pth" --tiled --num_frames 81 --height 480 --width 832

预处理后，数据集将包括每个视频和图像的.tensors.pth文件。

训练

使用以下命令开始训练模型：

python examples/wanvideo/train_wan_t2v.py --task train --train_architecture full --dataset_path data/example_dataset --output_path ./ --dit_path "your/model/path/Wan2.1-T2V-1.3B/diffusion_pytorch_model.safetensors" --steps_per_epoch 500 --max_epochs 1000 --learning_rate 4e-5 --accumulate_grad_batches 1 --use_gradient_checkpointing --dataloader_num_workers 8 --control_layers 15

请注意，当control_layers设置为15（默认值）时，由于大多数参数被冻结，整体内存使用量约为26G。如果您的GPU内存有限，可以考虑减少control_layers的数量，以降低内存使用。

以上步骤为您提供了从克隆仓库到开始训练模型的全过程指南。按照这些步骤操作，您应该能够成功安装和配置WanControl项目。

WanControl Wan2.1 with Controlnet 项目地址: https://gitcode.com/gh_mirrors/wa/WanControl