MuseTalk 开源项目使用教程

MuseTalk 开源项目使用教程

项目地址:https://gitcode.com/gh_mirrors/mu/MuseTalk

1. 项目介绍

MuseTalk 是一个实时高质量的唇同步模型，能够在 NVIDIA Tesla V100 上以 30fps 以上的速度运行。该项目由 TMElyralab 开发，主要用于将输入视频（例如由 MuseV 生成的视频）应用于虚拟人解决方案中。MuseTalk 支持多种语言的音频输入，如中文、英文和日文，并且支持对人脸区域的中心点进行修改，这对生成结果有显著影响。

2. 项目快速启动

环境准备

首先，确保你的 Python 版本 >= 3.10 且 CUDA 版本为 11.7。然后按照以下步骤构建环境：

pip install -r requirements.txt
pip install --no-cache-dir -U openmim
mim install mmengine
mim install "mmcv>=2.0.1"
mim install "mmdet>=3.1.0"
mim install "mmpose>=1.1.0"

下载 ffmpeg-static

下载 ffmpeg-static 并设置环境变量：

export FFMPEG_PATH=/path/to/ffmpeg

下载模型权重

手动下载模型权重并组织如下：

/models/
├── musetalk
│   └── musetalk.json
│   └── pytorch_model.bin
├── dwpose
│   └── dw-ll_ucoco_384.pth
├── face-parse-bisent
│   ├── 79999_iter.pth
│   └── resnet18-5c106cde.pth
├── sd-vae-ft-mse
│   ├── config.json
│   └── diffusion_pytorch_model.bin
└── whisper
    └── tiny.pt

快速启动推理

使用以下命令进行推理：

python -m scripts.inference --inference_config configs/inference/test.yaml

其中 configs/inference/test.yaml 是推理配置文件的路径，包含 video_path 和 audio_path。

3. 应用案例和最佳实践

案例1：MuseV + MuseTalk

MuseV 生成视频后，使用 MuseTalk 进行唇同步处理，使静态图片或视频中的人物“活”起来。

案例2：视频配音

使用 MuseTalk 对原始视频进行配音，生成新的唇同步视频。

4. 典型生态项目

MuseV

MuseV 是一个文本到视频、图像到视频或姿态到视频的生成框架，与 MuseTalk 结合使用，可以生成完整的虚拟人解决方案。

MusePose

MusePose 是一个图像到视频的生成框架，支持虚拟人在控制信号（如姿态）下的生成，与 MuseV 和 MuseTalk 一起使用，可以实现虚拟人的端到端生成。

通过以上模块的介绍和使用指南，用户可以快速上手并应用 MuseTalk 项目。

MuseTalk MuseTalk: Real-Time High Quality Lip Synchorization with Latent Space Inpainting 项目地址: https://gitcode.com/gh_mirrors/mu/MuseTalk