Tora开源项目使用教程

Tora开源项目使用教程

Tora The official repository for paper "Tora: Trajectory-oriented Diffusion Transformer for Video Generation" 项目地址: https://gitcode.com/gh_mirrors/tora/Tora

1. 项目目录结构及介绍

Tora项目目录结构如下：

Tora/
├── modules/              # 存放项目所需的模块代码
│   ├── SwissArmyTransformer
│   └── ...
├── sat/                  # 存放项目的主体代码和训练模型
│   ├── ckpts/            # 存放预训练模型权重文件
│   ├── sample_video.py   # 用于生成视频的示例脚本
│   └── ...
├── assets/               # 存放项目所需的静态资源
│   ├── images/           # 存放图片资源
│   ├── text/             # 存放文本资源
│   └── ...
├── configs/              # 存放项目配置文件
├── .gitignore            # 指定Git应忽略的文件和目录
├── CogVideoX_LICENSE     # CogVideoX的许可证文件
├── LICENSE               # 项目的许可证文件
├── pyproject.toml        # Python项目配置文件
└── README.md             # 项目的自述文件

• modules/：包含项目依赖的模块，如SwissArmyTransformer。
• sat/：项目的核心代码目录，包括生成视频的脚本sample_video.py和预训练模型权重ckpts/。
• assets/：包含项目所需的资源文件，如图片和文本。
• configs/：包含项目的配置文件。

2. 项目的启动文件介绍

项目的启动主要通过sat/sample_video.py脚本进行。该脚本用于根据给定的配置和模型权重生成视频。以下是启动项目的示例命令：

cd sat
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True torchrun --standalone --nproc_per_node=$N_GPU sample_video.py --base configs/tora/model/cogvideox_5b_tora.yaml configs/tora/inference_sparse.yaml --load ckpts/tora/t2v --output-dir samples --point_path trajs/coaster.txt --input-file assets/text/t2v/examples.txt

其中，$N_GPU需要替换为你希望使用的GPU数量。

3. 项目的配置文件介绍

项目的配置文件位于configs/目录下，主要包括以下文件：

• cogvideox_5b_tora.yaml：定义了模型的基本配置，包括模型结构、参数等。
• inference_sparse.yaml：定义了推理过程中的配置，如批量大小、GPU内存分配等。

配置文件使用YAML格式编写，用户可以根据自己的需求修改这些文件，以调整模型的行为和性能。例如，在sample_video.py脚本中，通过--base和--load参数指定了模型配置和模型权重的路径。

Tora The official repository for paper "Tora: Trajectory-oriented Diffusion Transformer for Video Generation" 项目地址: https://gitcode.com/gh_mirrors/tora/Tora