唇形融合 - 搭建wav2lip的web服务并对外提供api接口

已于 2023-05-09 10:16:38 修改
阅读量1.6k 收藏 6
点赞数 1
分类专栏： AI前沿技术 文章标签： 前端 docker wav2lip
于 2023-04-28 10:18:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wkh___/article/details/130189402
版权
本文档介绍了如何通过Docker配置和运行wav2lip服务，以实现2D人像视频与语音的唇形融合。用户可以通过POST请求向http://127.0.0.1:5002/inference发送face和audio参数，得到base64编码的融合视频结果。在部署过程中，需要将预训练模型文件放置于checkpoints目录并映射到容器内。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

左1：2D人像素材，中间：2D人像转动态视频，右1：动态视频唇形融合

API请求方式

  • url：http://127.0.0.1:5002/inference
  • method：POST
  • param：face（人像视频File）,audio（语音File）
  • response：jsonData with base64File

1. 配置及安装docker

sudo<
了解本专栏 订阅专栏 解锁全文
最终版：1分钟自动部署数字人平台并提供web服务：唇形合成(wav2lip) + 超分修复(codeformer)，
954L
06-17 4053
所有接口支持并发（机器配置允许的前提下）使用docker进行部署，环境等所有依赖全部整合完毕，已加密（文末见解密方式）默认提供4个接口（唇部合成、视频图片超分、视频图片上色、人像图片修复）内置代码已增加定时清理文件等逻辑，每次渲染的文件理论渲染完成后立即销毁，若异常状态下渲染文件最多保留3小时后自动销毁（若单次渲染耗时预计大于3小时，可能会导致渲染过程中文件被删除，请参考上述api源码路径进行修改后替换至容器中重新restart即可生效若有持久化文件需求请在调用方完善逻辑。
最新能让老外对口型讲中文的AI 视频教程，免费开源AI工具——Wav2Lip
CCEEHM的博客
01-03 3589
当然！如果像要对视频人物进行“换脸”，那就还得进行安装和下载“FaceSwap”的模型以及环境。
数字人解决方案——Wav2lip本地部署
u012148903的博客
04-08 7938
执行安装包.bat命令 ，本地化安装运行环境包，launcher.py，安装包.bat,代码在文章末尾，复制到Wav2lip文件夹下新建文件，复制源码进去即可。下载地址：https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth。将下载的模型文件放置在face_detection/detection/sfd目录下，并重命名为s3fd.pth。使用conda创建新的虚拟环境并激活。准备Wav2Lip模型文件。
Stable Diffusion｜Wav2Lip数字人制作全流程分享
m0_74942241的博客
08-08 2279
今天分享一个用Stable Diffusion零成本制作属于自己的数字人的教程。在这个充满创新与科技魅力的时代，每个人拥有自己的数字分身已经不再是遥不可及的事情了，而是触手可及的现实。
关于Wav2Lip配置&实现
qq_45821285的博客
07-04 2758
Wav2Lip是一种先进的深度学习模型，旨在将音频波形直接转换为面部动画，尤其关注于唇部动作的生成与同步。这一技术的核心在于其能够利用输入的语音信号，生成与之高度匹配的嘴唇动作，从而实现逼真的语音驱动数字人物动画效果。Wav2Lip的开发不仅标志着在语音驱动的面部动画领域的一个重要进展，也为虚拟现实、游戏制作、智能语音助手等多个应用领域提供了新的技术手段。Wav2Lip模型基于生成对抗网络（GAN）设计，包含生成器和判别器两个主要部分。
数字人实战第三天——wav2lip部署教程
qq_34717531的博客
09-09 3309
是一种通过将音频与视频中的嘴唇动作同步的技术，旨在生成与音频内容高度匹配的口型动画。其主要应用是让视频中的人物嘴唇动作与配音或其他音频输入精确同步，这在电影配音、虚拟主持人、在线教学、影视后期处理等领域非常有用。Wav2Lip 基于深度学习，特别是。：Wav2Lip 使用了 GAN 框架，其中生成器负责根据输入的音频生成与嘴唇动作同步的图像，判别器则用于评估生成的图像是否与输入的音频匹配。生成器通过不断优化生成与音频匹配的嘴部动作，直到判别器无法区分真假。
Python - Wave2lip 环境配置与 Wave2lip x GFP-GAN 实战 [超详细!]
BITDDD小栈
11-21 4582
Wave2lip 环境搭建与 Wave2lip x GFP-GAN 实战案例。
MAC本地部署数字人声唇同步模型Wav2Lip
Beauty2023的博客
10-13 2257
从模型克隆，到依赖包安装，部署了好几天，过程中各种报错和问题，逐个摸索出解决方案，分享出来让大家少走弯路。
本项目基于SadTalkers实现视频唇形合成的Wav2lip。通过以视频文件方式进行语音驱动生成唇形，设置面部区域.zip
02-15
【项目资源】： 包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码...鼓励下载和使用，并欢迎大家互相学习，共同进步。
Easy-Wav2Lip-v8.2.zip
09-26
由于提供的信息中并没有具体的文件名称列表，而是只有一个zip文件的名称，且标题和描述的内容是相同的，因此无法从中生成详细的文章知识。但如果假定压缩包中包含的是与“数字人生成”相关的软件或工具包，我们可以...
唇形同步模型文件 wav2lip_gan.pth
04-09
本文件是 开源项目 https://github.com/Rudrabha/Wav2Lip 唇形同步的例子 所需的 模型文件。 作者放在 google 网盘里， 国内下载很不方便。 于是我提供了一份在这儿。
lip2wav-dataset
03-10
非官方的Lip2Wav数据集预处理脚本 数据集是大规模的语音合成语音数据集。 该脚本允许下载和预处理数据集的各个部分，并且运行速度更快。 例如，要仅运行dl测试，只需为以下所有步骤指定--splits test --speakers dl 。 要求 该脚本需要ffmpeg ，并已在Ubuntu 20.04.1 LTS上进行了测试。 安装 pip install git+https://github.com/enhuiz/lip2wav-dataset.git 脚步 1.从YouTube下载原始视频 在一个空文件夹下，运行以下命令： lip2wav-dataset download --splits test --speakers dl 此步骤将自动下载指定的扬声器并进行分割（即，训练/验证/测试）。 如果未指定，则将下载所有扬声器/分离器。 2.将原始视频切成间隔 lip2wav-dat
wav2lib环境配置
excelNo1的博客
03-09 1678
万丈高楼平地起，先搭建环境测试下wav2lib效果。wav2lib 是一种基于深度学习的语音驱动面部动画生成算法。该算法的核心思想是将语音信号中的信息映射到面部动画参数中，从而生成逼真的面部动画。Wav2Lip算法主要包括两个阶段：特征提取阶段和动画生成阶段。在特征提取阶段，算法通过对输入的语音信号进行特征提取，得到与语音相关的特征表示。在动画生成阶段，算法利用提取的特征表示，预测面部动画参数，进而生成面部动画。
AI高清数字人wav2lip 256泛化模型，数字人本地部署完整源码，分享参考
weixin_42158644的博客
10-30 2256
AI高清数字人本地部署的源码分享，wav2lip泛化模型
Wav2Lip
AI生成式技术曾小健
05-29 3572
还有一个关于此的教程视频，由 What Make Art 提供。此外，多亏了 Eyal Gruss，Google Colab notebook 更易于使用，具有更多有用的功能。音频源可以是 FFMPEG 支持的任何包含音频数据的文件：*.wav、*.mp3 甚至是视频文件，代码会自动从中提取音频。或者，此处提供了使用 docker 镜像的说明。🔥 🔥 发布了几个新的、可靠的评估基准和指标 [评估/此 repo 的文件夹]。还提供了计算论文中报告的指标的说明。提供完整的训练代码、推理代码和预训练模型💥。
基于Wav2Lip+GFPGAN的AI数字人视频（以AutoDL算力云平台部署为例）
李同学Lino的博客
06-22 4905
我们的主题是如何在AutoDL云算力平台上部署并使用Wav2Lip和GFPGAN两个人工智能模型来创建AI数字人视频。我们的目标是利用Wav2Lip模型将输入的音频与数字人的口型进行同步，然后使用GFPGAN模型对生成的数字人的面部图像进行高质量的重建，从而创造出逼真的AI数字人视频。
windows系统下，搭建wav2lip运行环境
最新发布
手可摘星河
11-27 556
本文在windows环境下部署wav2lip项目并实现对口型视频导出的步骤。
Wav2Lip视频人脸口型同步（Win10）
莫扎特不唱摇篮曲
01-15 2107
上述步骤中涉及到下载地址的，直接访问官网首页对应链接即可下载。直接进 pytorch 官网，用官网的方法安装。这个地址，里面的三个视频可以直接下载使用。最终合成的视频，在 results 目录下。直接用官方的视频demo，进入。推荐这个网站，很好用。
Wav2Lip实践
bennybi的博客
08-09 1315
1.1 安装 conda以指定python版本运行环境下载：Index of /1.2 如按旧项目基于python3.6版本对话，会有很多包找不到的情况，经摸索后以python3.9构建成功，requirements.txt 内容。
提供wav2lip_gan.pth唇形同步模型文件下载
标题中提到的“唇形同步模型文件 wav2lip_gan.pth”指的是一个用于唇形同步的人工智能模型文件。唇形同步，也就是将音频信号中的语音与相应的视觉唇形动作同步对齐。在计算机视觉和人工智能领域，这是个非常有趣且...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

954L

帮帮孩子把~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值