EchoMimic 使用与启动教程

EchoMimic 使用与启动教程

echomimic EchoMimic: Lifelike Audio-Driven Portrait Animations through Editable Landmark Conditioning 项目地址: https://gitcode.com/gh_mirrors/ec/echomimic

1. 项目介绍

EchoMimic 是由蚂蚁集团推出的一个开源项目，旨在通过音频驱动的肖像动画，实现具有可编辑标记点的逼真效果。该项目能够将静态肖像图片转化为音频驱动的动画，适用于多种场景，如虚拟助手、游戏角色动画、视频制作等。

2. 项目快速启动

环境准备

• 操作系统：Centos 7.2/Ubuntu 22.04
• 显卡：A100(80G) / RTX4090D (24G) / V100(16G)
• Python 版本：3.8 / 3.10 / 3.11
• CUDA 版本：>= 11.7

克隆项目

git clone https://github.com/antgroup/echomimic.git
cd EchoMimic

创建 Python 环境

conda create -n echomimic python=3.8
conda activate echomimic

安装依赖

pip install -r requirements.txt

下载 ffmpeg-static

下载并解压 ffmpeg-static，然后设置环境变量：

export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static

下载预训练权重

git lfs install
git clone https://huggingface.co/BadToBest/EchoMimic pretrained_weights

运行示例

运行以下命令，开始音频驱动的算法推断：

python -u infer_audio2vid.py

或者运行以下命令，开始音频和姿态驱动的算法推断：

python -u infer_audio2vid_pose.py

3. 应用案例和最佳实践

音频驱动的动画案例

1. 将音频文件和图片路径添加到配置文件中。
2. 运行推断脚本，生成动画。

姿态控制的动画案例

1. 修改姿态控制配置文件。
2. 运行推断脚本，生成带有姿态控制的动画。

4. 典型生态项目

EchoMimic 的生态项目包括但不限于：

• AnimateDiff：用于创建动画的开源项目。
• Moore-AnimateAnyone：另一个开源动画项目。
• MuseTalk：专注于语音合成的开源项目。
• V-Express 和 hallo：在扩散型对话头像领域的杰出工作。

以上是 EchoMimic 的使用与启动教程，希望对您有所帮助。

echomimic EchoMimic: Lifelike Audio-Driven Portrait Animations through Editable Landmark Conditioning 项目地址: https://gitcode.com/gh_mirrors/ec/echomimic