HunyuanVideo-I2V 使用教程

HunyuanVideo-I2V 使用教程

HunyuanVideo-I2V HunyuanVideo-I2V: A Customizable Image-to-Video Model based on HunyuanVideo 项目地址: https://gitcode.com/gh_mirrors/hu/HunyuanVideo-I2V

1. 项目介绍

HunyuanVideo-I2V 是基于腾讯开源的 HunyuanVideo 项目的一个图像到视频生成的框架。它使用了先进的视频生成技术，通过令牌替换技术将参考图像信息有效地重构并融入视频生成过程中。这个框架能够生成高质量的视频，并且可以定制化特殊效果，为开源社区的探索提供了强大的工具。

2. 项目快速启动

环境准备

• NVIDIA GPU with CUDA support（推荐显存 80GB，最低 60GB）
• Linux 操作系统
• CUDA 版本推荐 12.4 或 11.8

克隆仓库

git clone https://github.com/tencent/HunyuanVideo-I2V.git
cd HunyuanVideo-I2V

创建和激活 Conda 环境

conda create -n HunyuanVideo-I2V python==3.11.9
conda activate HunyuanVideo-I2V

安装依赖

对于 CUDA 12.4

conda install pytorch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 pytorch-cuda=12.4 -c pytorch -c nvidia

安装 pip 依赖

python -m pip install -r requirements.txt

安装加速工具

python -m pip install ninja
python -m pip install git+https://github.com/Dao-AILab/flash-attention.git@v2.6.3

安装并行推断工具

python -m pip install xfuser==0.4.0

下载预训练模型

根据官方文档提供的指引下载预训练模型。

单 GPU 推断

HunyuanVideo-I2V 支持高达 720P 的分辨率和最长 129 帧的视频长度（约 5 秒钟）。具体推断命令请参考项目文档。

3. 应用案例和最佳实践

• 简洁提示：为了有效地指导模型生成，保持提示简短明了。
• 包括关键元素：一个结构良好的提示应该包括主要主题、动作、可选的背景和相机角度。
• 避免过度详细的提示：过于详尽的提示可能导致视频输出不必要的转换。

4. 典型生态项目

• ComfyUI-Kijai：支持 FP8 推断，V2V 和 IP2V 生成。
• HunyuanVideoGP：针对显存较小的 GPU 的版本。
• xDiT 兼容性改进：提高 xDiT 的并行推断能力。

以上就是 HunyuanVideo-I2V 的使用教程，希望对您的项目开发有所帮助。

HunyuanVideo-I2V HunyuanVideo-I2V: A Customizable Image-to-Video Model based on HunyuanVideo 项目地址: https://gitcode.com/gh_mirrors/hu/HunyuanVideo-I2V