Stable Diffusion WebUI安装合成面部说话插件SadTalker

原创 已于 2023-12-30 00:01:24 修改 · 2.2k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#stable diffusion #人工智能

于 2023-12-29 23:30:44 首次发布
本文介绍了SadTalker的安装过程，包括ffmpeg的下载与配置，以及如何在WebUI上安装插件。详细解释了参数设置，如选择合适的源图片、音频输入、图像预处理方法和面部增强选项，以实现自然的面部语音合成视频。
部署运行你感兴趣的模型镜像

SadTalker可以根据一张图片、一段音频，合成面部说这段语音的视频。图片需要真人或者接近真人。

安装ffmpeg

下载地址：

https://www.gyan.dev/ffmpeg/builds/

下载ffmpeg-git-full.7z 后解压，将解压后的目录\bin添加到环境变量的Path中。

在终端输入ffmpeg命令，查看ffmpeg是否安装成功。

安装SadTalker插件

在WebUI的extensions选项卡下，使用“Install from URL”安装SadTalker插件。

插件地址：

https://github.com/OpenTalker/SadTalker

下载checkpoint

下载地址：

https://github.com/OpenTalker/SadTalker/releases

将下载下来的checkpoint放入stable-diffusion-webui/extensions/SadTalker/checkpoints/目录下。

使用SadTalker

重新启动WebUI，可以看到多出来一个SadTalker选项卡。

参数说明：

  • Source image，原始图片，最好是大头，不然会显得不自然
  • Input audio，输入音频，使用SadTalker示例的音频测试（\extensions\SadTalker\examples\driven_audio）
  • preprocess，图像预处理方式，crop（剪裁）, resize（重置大小）, full(原图)，其中crop根据面部关键点生成的表情和动画相对逼真，前提是不要全图，看起来会很怪
  • Still Mode (fewer head motion, works with preprocess `full`)，使用与原始图像相同的姿势，减少头部运动。这个选项在full(原图)的时候很有必要，优化人物头部运动，生成的视频更加自然。
  • GFPGAN as Face enhancer，勾选上, 可以获得更好的面部质量

您可能感兴趣的与本文相关的镜像

HunyuanVideo-Foley

HunyuanVideo-Foley

语音合成

HunyuanVideo-Foley是由腾讯混元2025年8月28日宣布开源端到端视频音效生成模型，用户只需输入视频和文字，就能为视频匹配电影级音效

stable diffusion上安装数字人sadtalker插件
Peter的博客
03-15 1256
这里强调一下无论你用的谁的安装包，在安装前你一定要检查一下你是否已经配置了python和git这两个软件，方法很简单，你只需要在终端输入where git|where python,如果显示这两个软件的位置则代表你已经安装，则不需要安装，否则安装多个python版本会在后续的操作中造成命令混淆！一般来说只要你安装了stable diffusion，那么python你肯定是装了的，git你可以在git官网正常下载安装即可，对了我看联想电脑的应用商店也有下载起来很方便的！
AI 绘画Stable Diffusion 研究（十二）SD数字人制作工具SadTlaker插件安装教程
w风雨无阻w的专栏
08-19 4858
它包含了一套强大的命令行程序，可以执行各种音视频处理任务，例如格式转换、剪辑、合并、解码、编码、截图等。我们下载SadTalker 后，会得到名字为：SadTalker-main.zip的压缩包。下一篇，我们将介绍 Sadtalker 工具的简单使用，生成一个会说话的数字人，敬请期待。如果下载比较慢，或者无法下载的朋友，可以前往我这里已下载好的。如果下载比较慢，或者无法下载的朋友，可以前往我这里已下载好的。如果下载速度比较慢，也可以去我已经下载好的地址进行下载。至此，Sadtalker 安装就完成了。
CVPR 2023最佳论文实现：SadTalker技术详解
最新发布
gitblog_00862的博客
09-06 568
### 项目背景 SadTalker是CVPR 2023收录的突破性技术，专注于解决音频驱动单图像说话人脸动画（Talking Face Animation）的自然度和真实感问题。传统方法往往面临3D模型复杂度高、音频-面部运动同步性差、风格化效果有限等挑战。SadTalker通过学习3D运动系数（3D Motion Coefficients），实现了从音频到高度逼真面部动画的端到端转换，在保持计...
解决 TypeError: save_pil_to_file（stable diffusion使用sadtalker 插件）
dare_kz的博客
06-22 2746
在使用Stable Diffusion时，您可能会遇到使用SadTalker插件时出现的报错问题。其中，常见的报错是TypeError: save_pil_to_file() got an unexpected keyword argument 'format'
Stable Diffusion WebUI安装SadTalker插件
-
07-27 4691
stable diffusion 安装 sadtalker，生成你自己的2D数字人
将数字人--sadtalker以插件的方式集成到Stable Diffusion中
BBM的博客
01-04 1890
Sadtalker在数字人领域因其消耗资源少，节省GPU资源等优点，被不少人喜爱，但他提供的WEBUI调试非常不方便，将Sadtalker以Stable Diffusion插件的方式集成在一起，可以更方便大家使用，接下来，我就介绍一下，如何将Sadtalk以插件的方式集成到Stable Diffusion中。
在Stable Diffusion WebUI中安装SadTalker插件时几种错误提示的处理方法
m0_60659514的博客
10-04 3563
比如我在安装SadTalker时，就遇到很多问题，一度放弃了，后来查了一些网上攻略，自己也反复查看日志，终于解决，不吐不快。一、在Stable Diffusion webui中安装SadTalker插件后，重启Stable Diffusion WebUI，在界面中没有出现SadTalker标签。经过修改后，再次启动WebUI，终于能看到SadTalker标签了，选择图像，选择声音文件，调整参数，生成，程序终于欢快地跑起来了。二、插件运行过程中，前端视频生成框中提示Error(错误)，过程中止。
Stable-Diffusion WEBUI 简体中文语言包（2023.05.30更新）
05-30
AI绘图，Stable-Diffusion WEBUI，本地化（简体中文）语言文件。 原始文件来自翻译插件，根据自己实际使用情况，增加和修改了一些翻译。 配合【双语插件】看上去要自然一点，内容还在继续完善中。 本次增加了一些...
stable diffusion webui使用入门教程（不含安装）.pdf
05-09
《stable diffusion webui使用入门详解》 stable diffusion webui 是一款强大的基于文本到图像生成的工具，尤其适合于艺术创作和图像编辑。该工具提供了直观的UI界面，让用户无需深入技术细节即可进行操作。本文将...
Stable-Diffusion-WebUI（秋叶）和Stable-Diffusion–forge
05-10
根据给定的信息，“Stable-Diffusion-WebUI（秋叶）和Stable-Diffusion–forge”似乎是指两个与Stable Diffusion相关的项目或工具。这里将详细解析这两个概念，以便更好地理解它们所涉及的技术知识点。 ### Stable-...
Stable Diffusion Web UI 常用插件扩展-ControlNet 安装
保持敏感！保持学习！
11-06 1144
ControlNet是一个非常实用的工具。它增强了 Stable Diffusion 模型的控制能力，让用户可以基于特定输入（例如草图或姿势）生成符合特定需求的图像。通过 ControlNet，可以在不牺牲创意和细节的前提下，为图像生成注入用户的个性化元素，比如草图、人物姿势、甚至是特定的色彩主题。ControlNet 提供了多达 20 种控制类。
尝试着在Stable Diffusion里边使用SadTalker进行数字人制作
qq_42108074的博客
01-19 1966
我使用的基础软件是Stable Diffusion，SadTalker是作为插件放进来的，需要注意的是这对自己的电脑GPU要求比较高，至少需要8G，至少我的电脑是8G显存。点击扩展，选择从网址安装，然后把git仓库https://github.com/OpenTalker/SadTalker.git放入指定的位置，然后点击安装。先下载下载并安装ffmpeg，这一步的作用是语音格式的各种转换，虚拟数字人能开口说话，需要我们上传自己的语音，如果格式不符合会自动转换。然后我解压到D:\VideoSoft目录下。
Stable Diffusion插件—SadTalker
m0_59139710的博客
10-25 753
但是，我还发现了一个更有趣的模型——SadTalker，talker顾名思义，是一个说话的人，他的作用就是通过模型，将一张图片和一段音频合成为一个动态的视频!!!!!
SadTalker数字人安装教程（win平台）
fouryears_23417的博客
07-19 2804
SadTalker数字人的安装介绍
Stable Diffusion能让图片也能开口说话？别惊讶！用SadTalker插件，一键生成自己的数字人（附资料）
A1353192296的博客
04-23 1835
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
SadTalker
whaosoft143ai的博客
04-19 822
为了实现身份无关的系数生成，只将运动的参数建模为{β, r, t}。另一种流行的方法是基于latent的人脸动画，主要关注在对话式人脸动画中特定类别的运动，同样很难合成高质量的视频，因为虽然三维面部模型中包含高度解耦的表征，可以用来单独学习面部不同位置的运动轨迹，但仍然会生成不准确的表情和不自然的运动序列。三维运动系数包含头部姿势和表情，其中头部姿势是全局运动，而表情是相对局部的，所以完全学习所有的系数会给网络带来巨大的不确定性，因为头部姿势与音频的关系相对较弱，而嘴唇的运动则是与音频高度关联的。
手把手教安装部署AI SadTalker
lvyuanj的专栏
03-23 2585
AI SadTalker 图片+音频合成视频文件
stable-diffusion-webui插件SadTalker的安装使用注意事项，重点在后头AttributeError: ‘Row‘ object has no attribute ‘style
qa111111的博客
04-28 845
你很幸运的发现，原来一切问题都在app_sadtalker.py这个文件。
SD-WebUI-SadTalker：让照片说话，数字人使用方法
qq_41314882的博客
04-03 2479
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
stable diffusion webui 安装 comfyui插件
03-28
<think>好的，用户想在Stable Diffusion WebUI中安装ComfyUI插件。首先，我需要回忆一下这两个工具的关系。根据引用[2]，WebUI和ComfyUI都是基于Stable Diffusion开发的，但界面和操作方式不同。ComfyUI以节点式工作流著称，可能用户希望结合两者的优点。 接下来，用户提到的安装插件通常是通过WebUI的扩展功能。引用[3]提到WebUI允许安装插件，比如汉化插件。但ComfyUI本身是一个独立界面，可能不是作为WebUI的插件存在。这时候需要确认是否有第三方开发的桥接插件，让WebUI能调用ComfyUI的功能。 然后，检查用户提供的引用内容。引用[1]提到在ComfyUI中修改配置文件来共享WebUI的模型，这说明两者可以共存并共享资源。但用户的问题相反，是要在WebUI里安装ComfyUI插件，可能需要查找是否有这样的插件存在。 可能的解决方案是：在WebUI的“Extensions”里搜索ComfyUI相关插件。例如，有些插件可能将ComfyUI的工作流集成到WebUI中。如果存在，用户只需通过WebUI的插件安装界面进行安装。如果没有，可能需要手动下载插件文件到WebUI的extensions目录，然后重启。 另外，需要注意插件的兼容性，确保插件版本与当前WebUI版本匹配。安装完成后，可能需要配置路径或模型，如引用[1]提到的模型路径设置，确保插件能正确调用资源。 最后，用户可能需要指导如何验证安装是否成功，比如在WebUI界面中查看是否有新增的ComfyUI相关选项或工作流节点。如果遇到问题，可能需要检查日志或社区支持。</think>要在Stable Diffusion WebUI中集成ComfyUI的功能，可通过以下步骤实现： ### 一、安装ComfyUI插件 1. **通过扩展市场安装** - 进入WebUI的`Extensions`选项卡 - 选择`Install from URL` - 输入ComfyUI插件仓库地址（需提前确认存在该插件） - 点击安装后重启WebUI 2. **手动安装方法** ```bash cd Stable-Diffusion-webui/extensions git clone https://github.com/[作者名]/sd-webui-comfyui.git ``` ### 二、配置模型共享 1. 修改`extra_model_paths.yaml`文件： ```yaml base_path: path/to/Stable-Diffusion-webui/ checkpoints: models/Stable-diffusion vae: models/VAE loras: models/Lora ``` 此配置可使ComfyUI直接调用WebUI的模型资源[^1] ### 三、功能对比与整合 | 功能特性 | WebUI | ComfyUI插件 | |----------------|----------------|-------------------| | 操作界面 | 图形化交互 | 节点式工作流 | | 工作流保存 | 需手动记录参数 | 支持流程图导出 | | 硬件利用率 | 中等 | 更高GPU利用率[^2] | | 插件生态 | 丰富 | 专业级扩展 | ### 四、验证安装 1. 重启WebUI后查看控制台日志 2. 在生成界面寻找新增的`ComfyUI Workflow`选项卡 3. 尝试加载示例工作流模板 ### 五、常见问题处理 1. **插件不显示**： - 检查`webui-user.bat`启动参数是否包含`--enable-insecure-extension-access` - 确认插件目录正确放置在`extensions`文件夹 2. **模型加载失败**： - 核对`extra_model_paths.yaml`中的路径分隔符（Windows需使用`/`） - 确保WebUI已下载所需模型
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值