Live Speech Portraits:实时逼真说话人头动画

Live Speech Portraits:实时逼真说话人头动画

LiveSpeechPortraits Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation (SIGGRAPH Asia 2021) LiveSpeechPortraits 项目地址: https://gitcode.com/gh_mirrors/li/LiveSpeechPortraits

1. 项目介绍

本项目是基于论文《Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation》的实现。该项目首次展示了一个实时生成个性化逼真说话人头动画的系统,仅通过音频信号驱动,帧率超过30 fps。系统包含三个阶段:第一阶段是一个深度神经网络,用于提取深度音频特征并将特征映射到目标人的语音空间;第二阶段学习投影音频特征的面部动态和运动;最后一阶段,根据之前的预测生成条件特征图,并与候选图像集一起传递给图像到图像的翻译网络,以生成逼真的渲染效果。

2. 项目快速启动

环境准备

  • 操作系统:Windows 10 或 Linux
  • Python 版本:3.6
  • PyTorch 版本:1.7
  • FFmpeg(用于合成音频和生成的 silent 视频)

克隆仓库

git clone https://github.com/YuanxunLu/LiveSpeechPortraits.git
cd LiveSpeechPortraits

安装依赖

pip install -r requirements.txt

下载预训练模型和数据

将预训练模型和数据下载到项目的 data 文件夹中(注:此处应有数据下载步骤,但为了避免包含链接,这里仅描述步骤)。

运行示例

python demo.py --id May --driving_audio ./data/Input/00083.wav --device cuda

生成的结果可以在 results 文件夹中找到。

3. 应用案例和最佳实践

  • 个性化动画生成:通过本项目,用户可以根据自己的声音生成逼真的说话人头动画。
  • 实时性能优化:通过优化算法和模型,确保动画在实时环境中流畅运行。
  • 多平台兼容性:虽然主要在 Windows 10 上测试,但项目也兼容 Linux 系统。

4. 典型生态项目

  • MakeItTalk:一个开源项目,用于将静态人脸图像转换为说话人脸动画。
  • ATVG:一个开源项目,用于实时人脸动画生成。
  • RhythmicHead:一个开源项目,专注于根据音乐节奏生成面部动画。

以上便是基于开源项目 Live Speech Portraits 的使用和安装教程,希望对您有所帮助。

LiveSpeechPortraits Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation (SIGGRAPH Asia 2021) LiveSpeechPortraits 项目地址: https://gitcode.com/gh_mirrors/li/LiveSpeechPortraits

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孙爽知Kody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值