Tora项目安装与配置指南

Tora项目安装与配置指南

Tora The official repository for paper "Tora: Trajectory-oriented Diffusion Transformer for Video Generation" 项目地址: https://gitcode.com/gh_mirrors/tora/Tora

1. 项目基础介绍

Tora是一个基于深度学习的视频生成项目，它利用了扩散变换器（Diffusion Transformer）技术来生成高质量的轨迹可控视频。该项目是阿里巴巴开源的，旨在推动视频生成领域的研究与应用。主要编程语言为Python。

2. 项目使用的关键技术和框架

• 扩散变换器（Diffusion Transformer）: 一种基于变换器架构的生成模型，用于生成高质量的图像和视频。
• 轨迹提取器（Trajectory Extractor）: 将任意轨迹编码成层级时空运动贴图。
• 时空变换器: 集成轨迹信息的变换器模型，用于生成视频。
• 运动引导融合器（Motion-guidance Fuser）: 将运动贴图融合到变换器块中，生成与轨迹一致的视频。
• PyTorch: 用于构建和训练模型的深度学习框架。

3. 项目安装和配置的准备工作

准备工作

• 确保操作系统为Ubuntu 18.04或更高版本。
• 安装CUDA兼容的NVIDIA GPU驱动。
• 安装Python 3.10到3.12版本。
• 配置Python环境（推荐使用conda）。

安装步骤

1. 克隆项目仓库：

   git clone https://github.com/alibaba/Tora.git
   cd Tora
   

2. 安装PyTorch和torchvision：

   根据你的Python版本创建一个新的conda环境，并安装指定版本的PyTorch和torchvision。

   conda create -n tora python==3.10
   conda activate tora
   conda install pytorch==2.4.0 torchvision==0.19.0 pytorch-cuda=12.1 -c pytorch -c nvidia
   

3. 安装项目依赖：

   cd modules/SwissArmyTransformer
   pip install -e .
   cd ../../sat
   pip install -r requirements.txt
   cd ..
   

4. 下载模型权重：

   根据项目提供的指南，从HuggingFace、ModelScope或原生链接下载模型权重，并将其放置在Tora/sat/ckpts目录下。

5. 运行示例：

   在项目目录中，根据你的GPU数量设置$N_GPU，然后运行以下命令来生成视频：

   cd sat
   PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True torchrun --standalone --nproc_per_node=$N_GPU sample_video.py --base configs/tora/model/cogvideox_5b_tora.yaml configs/tora/inference_sparse.yaml --load ckpts/tora/t2v --output-dir samples --point_path trajs/coaster.txt --input-file assets/text/t2v/examples.txt
   

   根据需要，可以更改--input-file和--point_path参数来使用自己的提示和轨迹点文件。

以上就是Tora项目的详细安装和配置指南，按照以上步骤操作，即可开始使用Tora生成视频。

Tora The official repository for paper "Tora: Trajectory-oriented Diffusion Transformer for Video Generation" 项目地址: https://gitcode.com/gh_mirrors/tora/Tora