GeneFace++ 安装与配置完全指南

温昀珍

于 2024-09-13 22:20:08 发布

阅读量899

点赞数 4

本文链接：https://blog.youkuaiyun.com/gitblog_07546/article/details/142230765

版权

GeneFace++ 安装与配置完全指南

GeneFacePlusPlus GeneFace++: Generalized and Stable Real-Time 3D Talking Face Generation; Official Code 项目地址: https://gitcode.com/gh_mirrors/ge/GeneFacePlusPlus

项目基础介绍

GeneFace++ 是一个基于 PyTorch 的开源项目，专注于实现实时、高保真、高效系统的3D说话人脸生成。该技术允许创建具有高度同步唇部动作、逼真的视频质量及快速响应的人工智能驱动的虚拟人物视频。此外，它解决了现有神经辐射场(NeRF)方法在通用音频唇部运动预测上的局限性，提供稳定且实时的解决方案。

主要编程语言：

Python
使用了 CUDA 和 C++ 进行性能加速

关键技术和框架

PyTorch: 动态计算图的深度学习框架，用于模型训练和推理。
Neural Radiance Fields (NeRF): 核心渲染技术，实现从短训练视频中生成高质量、3D一致的说话人脸。
Gradio: 可选的Web UI交互工具，便于快速测试和演示。
自定义数据处理流程: 包含音频到动作、动作到视频的模型，以及3D模型的特定处理。

安装与配置步骤

准备工作

环境要求：确保你的系统上已安装 Git, Python 3.9+, 和适当的GPU支持（CUDA版本匹配）。推荐在Linux环境下进行，但也有可能在Windows和macOS上运行，但可能需要额外的配置。
安装Python环境：建议使用conda或venv创建一个新的Python环境。
安装依赖：确保你有pip来管理Python包。

步骤详情

步骤1：克隆项目

打开终端，运行以下命令以克隆GeneFace++项目库到本地：

git clone https://github.com/yerfor/GeneFacePlusPlus.git
cd GeneFacePlusPlus

步骤2：创建并激活Python环境

conda create -n geneface python=3.9
conda activate geneface

或者，如果你更喜欢virtualenv：

python3 -m venv geneface
source geneface/bin/activate

步骤3：安装项目依赖

在项目根目录下执行：

pip install -r requirements.txt

步骤4：下载预处理数据和模型权重

下载3DMM文件到./deep_3drecon/BFM目录。
获取预处理数据集（例如May的数据集），解压后放至./data/binary/videos/May。
获取并解压缩预训练模型，包括audio2motion_vae和特定于任务的motion2video_nerf模型，放置到对应的checkpoints目录内。

步骤5：运行示例

首先设置环境变量指向正确的路径，然后运行示例脚本：

export PYTHONPATH=$(pwd):$PYTHONPATH
python inference/genefacepp_infer.py \
    --a2m_ckpt=checkpoints/audio2motion_vae \
    --head_ckpt=checkpoints/motion2video_nerf/may_head \
    --torso_ckpt=checkpoints/motion2video_nerf/may_torso \
    --drv_aud=data/raw/val_wavs/example.wav \
    --out_name=demo_output.mp4

这里，你需要替换音频文件路径(example.wav)为实际路径，并指定输出视频名。