4.1-4 SadTalker数字人 语音和嘴唇对应的方案

前言：

SadTalker是一个强大的数字人相关的RA/SD插件。它本身是一个非常独立的产品。你只需要提供一段视频，一段文字，简单的配置，在RA/SD中简单的生成即可。

视频中人物的嘴唇很好的应对了你要发声的文字内容。效果很赞。仔细学习后体验下吧。

知识点：

1. SadTalker
2. 数字人
3. 唇音联动

插件介绍

https://sadtalker.github.io/的论文和很多DEMO

主要是数字人相关的强大插件。

官方地址：

GitHub - OpenTalker/SadTalker: [CVPR 2023] SadTalker：Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation

本地地址：

第一步

RA的扩展中安装自URL即可。

GitHub - OpenTalker/SadTalker: [CVPR 2023] SadTalker：Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation

如果出现失败，多数是VPN穿墙的问题。

重启SD 的webui

第二步 

下载模型。放到SD的这些目录下。2选1 即可。

stable-diffusion-webui/models/SadTalker or

 stable-diffusion-webui/extensions/SadTalker/checkpoints/   代码中用这个位置。我们就放这里

注意gfpgan的目录和checkpoints同级别

奇怪的是。这个位置也要放一份GFPGAN – 不然处理过程中还是会去下载的。

第三步

选择一个照片。也可以由SD生成一个。选择一个音频文件。

音频文件格式支持这些

在SadTalker的界面上简单配置下，点击【Generate】

顺利的话COnsole中输出这样的 （下面第一张图还是在下载GFPGAN的模型么，因为我们之前没放这个位置）

如果遇到FFMPEG的错误问题

提示没有安装ffmpeg。

用pip install ffmpeg还没有解决问题。

就用我们编译好的包。然后PATH指向，重启电脑即可。