MOFA-Video 项目安装与配置指南

MOFA-Video 项目安装与配置指南

MOFA-Video Official Pytorch implementation for MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model. 项目地址: https://gitcode.com/gh_mirrors/mo/MOFA-Video

1. 项目基础介绍

MOFA-Video 是一种通过生成运动场适配在冻结的图像到视频扩散模型中进行可控图像动画的方法。该项目旨在将不同领域的运动适配到冻结的视频扩散模型中，通过稀疏到密集的运动生成和基于流的运动适配，可以有效地使用各种类型的控制信号来动画化单个图像，包括轨迹、关键点序列以及它们的组合。

主要编程语言：Python

2. 项目使用的关键技术和框架

• 生成运动场适配：用于将控制信号转换为图像动画。
• 稀疏到密集运动生成：在训练阶段生成稀疏控制信号，然后在推断阶段生成视频。
• 基于流的运动适配：用于适配和生成运动场。
• 框架：使用了 PyTorch 和 PyTorch3D 等深度学习框架。

3. 项目安装和配置的准备工作及详细步骤

准备工作

• 确保你的系统中已经安装了 Python。
• 安装 Conda，以便更好地管理项目依赖。
• 确保你的系统支持 CUDA，因为该项目依赖于 CUDA 进行加速。

安装步骤

克隆项目仓库

首先，你需要克隆项目仓库到本地环境：

git clone https://github.com/MyNiuuu/MOFA-Video.git
cd ./MOFA-Video

配置虚拟环境

项目建议使用 Conda 来创建一个虚拟环境，并安装所需的依赖：

cd ./MOFA-Video-Hybrid
conda create -n mofa python==3.10
conda activate mofa

安装依赖

在虚拟环境中，安装项目要求的依赖：

pip install -r requirements.txt
pip install opencv-python-headless
pip install "git+https://github.com/facebookresearch/pytorch3d.git"

注意：请确保遵循 requirements.txt 文件中 Gradio 版本的要求，因为其他版本可能会导致错误。

下载预训练模型

从指定的链接下载 CMP 模型检查点，并将其放置在相应的文件夹中：

# 假设已经下载了 CMP 检查点文件
# 将下载的文件放置在以下路径
./MOFA-Video-Hybrid/models/cmp/experiments/semiauto_annot/resnet50_vip+mpii_liteflow/checkpoints

同样，你需要下载包含必要预训练检查点的 ckpts 文件夹，并将其放在项目目录下：

# 使用 git lfs 命令下载完整的 HuggingFace 仓库（如果需要）
git clone https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid

# 将下载的 'ckpts' 文件夹移动到 GitHub 仓库的相应位置

运行示例

安装和配置完成后，你可以尝试运行 Gradio 示例来查看项目效果：

cd ./MOFA-Video-Hybrid
python run_gradio_audio_driven.py  # 使用音频驱动面部动画
# 或者
python run_gradio_video_driven.py  # 使用参考视频驱动面部动画

以上步骤应该能够帮助你成功安装和配置 MOFA-Video 项目。如果遇到任何问题，请参考项目的官方文档或向项目维护者寻求帮助。

MOFA-Video Official Pytorch implementation for MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model. 项目地址: https://gitcode.com/gh_mirrors/mo/MOFA-Video