Live Speech Portraits：实时逼真说话人头动画

Live Speech Portraits：实时逼真说话人头动画

LiveSpeechPortraits Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation (SIGGRAPH Asia 2021) 项目地址: https://gitcode.com/gh_mirrors/li/LiveSpeechPortraits

1. 项目介绍

本项目是基于论文《Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation》的实现。该项目首次展示了一个实时生成个性化逼真说话人头动画的系统，仅通过音频信号驱动，帧率超过30 fps。系统包含三个阶段：第一阶段是一个深度神经网络，用于提取深度音频特征并将特征映射到目标人的语音空间；第二阶段学习投影音频特征的面部动态和运动；最后一阶段，根据之前的预测生成条件特征图，并与候选图像集一起传递给图像到图像的翻译网络，以生成逼真的渲染效果。

2. 项目快速启动

环境准备

• 操作系统：Windows 10 或 Linux
• Python 版本：3.6
• PyTorch 版本：1.7
• FFmpeg（用于合成音频和生成的 silent 视频）

克隆仓库

git clone https://github.com/YuanxunLu/LiveSpeechPortraits.git
cd LiveSpeechPortraits

安装依赖

pip install -r requirements.txt

下载预训练模型和数据

将预训练模型和数据下载到项目的 data 文件夹中（注：此处应有数据下载步骤，但为了避免包含链接，这里仅描述步骤）。

运行示例

python demo.py --id May --driving_audio ./data/Input/00083.wav --device cuda

生成的结果可以在 results 文件夹中找到。

3. 应用案例和最佳实践

• 个性化动画生成：通过本项目，用户可以根据自己的声音生成逼真的说话人头动画。
• 实时性能优化：通过优化算法和模型，确保动画在实时环境中流畅运行。
• 多平台兼容性：虽然主要在 Windows 10 上测试，但项目也兼容 Linux 系统。

4. 典型生态项目

• MakeItTalk：一个开源项目，用于将静态人脸图像转换为说话人脸动画。
• ATVG：一个开源项目，用于实时人脸动画生成。
• RhythmicHead：一个开源项目，专注于根据音乐节奏生成面部动画。

以上便是基于开源项目 Live Speech Portraits 的使用和安装教程，希望对您有所帮助。

LiveSpeechPortraits Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation (SIGGRAPH Asia 2021) 项目地址: https://gitcode.com/gh_mirrors/li/LiveSpeechPortraits