Tora 使用教程

Tora 使用教程

Tora The official repository for paper "Tora: Trajectory-oriented Diffusion Transformer for Video Generation" 项目地址: https://gitcode.com/gh_mirrors/tora/Tora

1. 项目介绍

Tora是一个基于Diffusion Transformer（DiT）的视频生成框架，它通过整合文本、视觉和轨迹条件，实现了对视频内容动态的精确控制。Tora框架包括轨迹提取器（TE）、时空DiT和运动引导融合器（MGF），能够生成具有高运动保真度的视频，并精确模拟现实世界的运动。

2. 项目快速启动

环境准备

确保你的Python版本在3.10到3.12之间。安装PyTorch和Torchvision：

conda create -n tora python==3.10
conda activate tora
conda install pytorch==2.4.0 torchvision==0.19.0 pytorch-cuda=12.1 -c pytorch -c nvidia

克隆项目

git clone https://github.com/alibaba/Tora.git
cd Tora

安装依赖

cd modules/SwissArmyTransformer
pip install -e .
cd ../../sat
pip install -r requirements.txt
cd ..

运行示例

文本到视频

确保你有大约30GiB的GPU内存（例如NVIDIA A100）。以下命令使用了N个GPU进行推理：

cd sat
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True torchrun --standalone --nproc_per_node=$N_GPU sample_video.py --base configs/tora/model/cogvideox_5b_tora.yaml configs/tora/inference_sparse.yaml --load ckpts/tora/t2v --output-dir samples --point_path trajs/coaster.txt --input-file assets/text/t2v/examples.txt

替换$N_GPU为你想要使用的GPU数量。

图像到视频

cd sat
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True torchrun --standalone --nproc_per_node=$N_GPU sample_video.py --base configs/tora/model/cogvideox_5b_tora_i2v.yaml configs/tora/inference_sparse.yaml --load ckpts/tora/i2v --output-dir samples --point_path trajs/sawtooth.txt --input-file assets/text/i2v/examples.txt --img_dir assets/images --image2video

确保--img_dir目录下有第一帧的图像，并且图像名称在--input-file的文本提示中指定。

3. 应用案例和最佳实践

• 使用GPT-4生成详细的文本提示，以提高视觉质量和运动控制效果。
• 在生成视频前，确保轨迹点是绘制在256x256画布上的。

4. 典型生态项目

• Tora的模型权重可在HuggingFace或ModelScope上下载。
• Tora的代码和模型已在多个学术会议和研讨会中进行展示和讨论。

以上步骤和指南将帮助你快速上手Tora项目，开始生成高质量的视频内容。

Tora The official repository for paper "Tora: Trajectory-oriented Diffusion Transformer for Video Generation" 项目地址: https://gitcode.com/gh_mirrors/tora/Tora