EchoMimicV2 使用教程
1. 项目介绍
EchoMimicV2 是由蚂蚁集团推出的一个开源项目,致力于实现基于音频驱动的半身人体动画。该项目能够根据输入的音频生成相应的表情和身体动作,适用于创建虚拟角色动画、语音合成等领域。
2. 项目快速启动
环境准备
- CUDA 版本:≥ 11.7
- Python 版本:3.10
克隆代码
git clone https://github.com/antgroup/echomimic_v2.git
cd echomimic_v2
自动设置
运行以下脚本自动配置环境:
sh linux_setup.sh
手动设置
- 创建 conda 环境:
conda create -n echomimic python=3.10
conda activate echomimic
- 安装依赖:
pip install pip -U
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers==0.0.28.post3 --index-url https://download.pytorch.org/whl/cu124
pip install torchao --index-url https://download.pytorch.org/whl/nightly/cu124
pip install -r requirements.txt
pip install --no-deps facenet_pytorch==2.6.0
- 下载 ffmpeg-static 并设置环境变量:
# 下载并解压 ffmpeg-static
# export FFMPEG_PATH=/path/to/ffmpeg-4.4-amd64-static
- 下载预训练模型:
git lfs install
git clone https://huggingface.co/BadToBest/EchoMimicV2 pretrained_weights
运行演示
运行以下命令启动 gradio 演示:
python app.py
或者使用 Python 脚本进行推断:
python infer.py --config='./configs/prompts/infer.yaml'
对于加速版本的推断,运行:
python infer_acc.py --config='./configs/prompts/infer_acc.yaml'
3. 应用案例和最佳实践
- 案例一:使用 EchoMimicV2 生成语音驱动的虚拟角色动画。
- 案例二:结合语音合成技术,创建自动说话的视频内容。
4. 典型生态项目
- 项目一:MimicMotion - 一个开源的音频驱动动画库。
- 项目二:Moore-AnimateAnyone - 另一个用于创建音频驱动动画的开源项目。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考