MOFA-Video 使用教程

MOFA-Video 使用教程

MOFA-Video Official Pytorch implementation for MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model. 项目地址: https://gitcode.com/gh_mirrors/mo/MOFA-Video

1. 项目介绍

MOFA-Video 是一种基于预训练的图像到视频扩散模型的方法，通过稀疏到密集的运动生成和基于流的运动适应，能够使用各种控制信号有效地对单张图像进行动画处理。该项目旨在将不同领域的运动适应到冻结的视频扩散模型中，支持轨迹、关键点序列以及它们的组合作为控制信号。

2. 项目快速启动

环境准备

在开始之前，请确保您的系统中已安装了 CUDA 11.7 版本。

克隆仓库

git clone https://github.com/MyNiuuu/MOFA-Video.git
cd ./MOFA-Video

设置环境

cd ./MOFA-Video-Hybrid
conda create -n mofa python==3.10
conda activate mofa
pip install -r requirements.txt
pip install opencv-python-headless
pip install "git+https://github.com/facebookresearch/pytorch3d.git"

注意：requirements.txt 中的 Gradio 版本必须是 4.5.0，其他版本可能会引发错误。

下载预训练模型

从官方网站下载 CMP 模型的预训练权重，并将其放置在 ./MOFA-Video-Hybrid/models/cmp/experiments/semiauto_annot/resnet50_vip+mpii_liteflow/checkpoints 目录下。

下载 ckpts 文件夹，该文件夹包含必要的预训练权重，并将其放在 ./MOFA-Video-Hybrid 下。您可以使用 git lfs 命令来下载完整的 ckpts 文件夹：

git lfs install
git clone https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid

将 ckpts 文件夹复制或移动到 GitHub 仓库中。

运行 Gradio Demo

运行以下命令，使用音频驱动面部动画：

cd ./MOFA-Video-Hybrid
python run_gradio_audio_driven.py

运行以下命令，使用参考视频驱动面部动画：

cd ./MOFA-Video-Hybrid
python run_gradio_video_driven.py

3. 应用案例和最佳实践

请参考项目仓库中的 README.md 文件，以获取更多关于如何使用 MOFA-Video 进行图像动画创建的案例和最佳实践。

4. 典型生态项目

MOFA-Video 可以与其他开源项目相结合，例如 DragNUWA、SadTalker、AniPortrait 等，以实现更丰富的图像动画效果。您可以通过查看项目的依赖和合作伙伴项目，来探索更多可能的集成方式。

MOFA-Video Official Pytorch implementation for MOFA-Video: Controllable Image Animation via Generative Motion Field Adaptions in Frozen Image-to-Video Diffusion Model. 项目地址: https://gitcode.com/gh_mirrors/mo/MOFA-Video