Magic 1-For-1: 一分钟生成一分钟视频剪辑的开源项目教程-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00076/article/details/146972040

Magic 1-For-1: 一分钟生成一分钟视频剪辑的开源项目教程

Magic-1-For-1 项目地址: https://gitcode.com/gh_mirrors/ma/Magic-1-For-1

1. 项目介绍

Magic 1-For-1 是一个高效的视频生成模型，旨在优化内存使用并减少推理延迟。该模型将文本到视频生成任务分解为两个子任务：文本到图像生成和图像到视频生成，从而实现了更高效的训练和知识提炼。

2. 项目快速启动

环境准备

确保已安装 git-lfs。
推荐使用 conda 管理项目依赖。首先，创建一个名为 video_infer 的 conda 环境，并指定 Python 版本。
```
conda create -n video_infer python=3.9
```

激活环境并安装项目依赖。

conda activate video_infer
pip install -r requirements.txt

下载模型权重

模型权重下载需要完成相关清关工作，请关注项目更新。

视频生成（单 GPU）

Magic 1-For-1 支持两种视频生成模式：

文本到视频：使用 argparse 处理命令行参数。以下是一些基本参数：
- -c 或 --config：配置文件路径（对于 t2v 是必需的）。
- -q 或 --quantization：启用量化（可选，默认为 False）。
- -l 或 --quantization_level：量化级别（例如 "int8"，可选，默认为 "int8"）。
- -m 或 --low_memory：启用低内存模式（可选，默认为 False）。
- --cli：启用命令行交互模式（可选，默认为 False）。
运行以下命令进行文本到视频生成：
```
python test_t2v.py --config configs/test/text_to_video/4_step_t2v.yaml --quantization False
```
或者使用提供的脚本：
```
bash scripts/run_t2v.sh
```
量化：本项目支持使用量化技术来优化模型性能、减少内存占用和加速推理。我们支持包括 INT8 和 INT4 在内的多种量化级别，并提供使用 Optimum-Quanto 或 TorchAO 进行量化的选项。

安装依赖：
```
pip install optimum-quanto torchao
```
使用方法：

启用量化时，将 --quantization 标志设置为 True。
```
python test_t2v.py --config configs/test/4_step_t2v.yaml --quantization True
```
使用 --quantization_level 标志指定量化级别。可选项为 int8 和 int4。
```
python test_t2v.py --config configs/test/4_step_t2v.yaml --quantization True --quantization_level int8
```
多 GPU 推理：要在多个 GPU 上运行推理，请指定 GPU 数量和它们的 ID。调整配置文件中的 ring_degree 和 ulysses_degree 值以匹配使用的 GPU 数量。
```
bash scripts/run_flashatt3.sh test_t2v.py configs/test/t2v.yaml 1 0
```