Phantom项目安装与配置指南

Phantom项目安装与配置指南

Phantom 项目地址: https://gitcode.com/gh_mirrors/phantom6/Phantom

1. 项目基础介绍

Phantom是一个用于生成与参考主体一致的视频的开源项目。它基于文本到视频和图像到视频的现有架构，通过重新设计文本-图像注入模型，实现了文本-图像-视频的三模态对齐。此项目特别强调在生成视频中保持主体一致性，并提升ID保留的视频生成效果。主要使用的编程语言是Python。

2. 项目使用的关键技术和框架

• 文本-图像-视频三模态对齐：通过使用文本、图像和视频三元数据，项目实现了模态间的紧密对齐。
• 主体一致性：在生成视频中，主体的一致性得到了特别的重视。
• ID保留视频生成：生成过程中，确保了视频中的主体ID信息得到保留。

项目使用的框架和库包括但不限于PyTorch等，具体依赖项在项目的requirements.txt文件中列出。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已安装以下软件和依赖：

• Python（建议版本 >= 3.7）
• pip（Python的包管理器）
• Git（用于克隆代码仓库）

详细安装步骤

1. 克隆代码仓库：

   git clone https://github.com/Phantom-video/Phantom.git
   cd Phantom
   

2. 安装依赖： 在项目目录中，运行以下命令来安装所需的Python包。

   pip install -r requirements.txt
   

3. 模型下载： 首先需要下载Wan2.1的1.3B原始模型。使用以下命令：

   pip install "huggingface_hub[cli]"
   huggingface-cli download Wan-AI/Wan2.1-T2V-1.3B --local-dir ./Wan2.1-T2V-1.3B
   

   接下来，下载Phantom-Wan-1.3B模型：

   huggingface-cli download bytedance-research/Phantom --local-dir ./Phantom-Wan-1.3B
   

4. 运行示例： 在单GPU上进行推断的示例命令如下：

   python generate.py --task s2v-1.3B --size 832x480 --ckpt_dir ./Wan2.1-T2V-1.3B --phantom_ckpt ./Phantom-Wan-1.3B/Phantom-Wan-1.3B.pth --ref_image "examples/ref1.png,examples/ref2.png" --prompt "暖阳漫过草地，扎着双马尾、头戴绿色蝴蝶结、身穿浅绿色连衣裙的小女孩蹲在盛开的雏菊旁。她身旁一只棕白相间的狗狗吐着舌头，毛茸茸尾巴欢快摇晃。小女孩笑着举起黄红配色、带有蓝色按钮的玩具相机，将和狗狗的欢乐瞬间定格。" --base_seed 42
   

确保在运行示例时，您已经根据项目的具体要求调整了--ref_image和--prompt参数。如果生成的视频效果不理想，可以尝试改变--base_seed和--prompt中的描述。

以上就是Phantom项目的详细安装和配置指南。按照以上步骤操作，您应该能够成功安装并运行该项目。

Phantom 项目地址: https://gitcode.com/gh_mirrors/phantom6/Phantom