解放原画师!Wav2Lip 用 AI 听音同步人物口型

wav2lip中文语音驱动人脸训练 2020年,来自印度海德拉巴大学和英国巴斯大学的团队,在ACM MM2020发表了的一篇论文《A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild 》,在文章中,他们提出一个叫做Wav2Lip的AI模型,只需要一段人物视频和一段目标语音,就能够让音频和视频合二为一,人物嘴型与音频完全匹配。 阅读详情

By 超神经

内容提要:「眼见为实」在 AI 技术面前已经失效了,换脸、对口型的技术层出不穷,效果越来越逼真。今天要介绍的 Wav2Lip 模型,只需一段原始视频与目标音频,就可将其合二为一。

关键词:唇形同步 语音信号

近几年,好莱坞动画屡屡拿下超过 10 亿美元的票房,《疯狂动物城》、《冰雪奇缘》等等,它们个个品质过硬,单拿口型这一点来说,就非常严谨,动画人物口型与真人口型几乎一致。

而实现这样的效果,其实需要经历非常复杂的过程,需要耗费巨大的人力物力。所以,很多动画制作方为了节省成本,只采用比较简单的口型示意。

现在,AI 正在努力减轻原画师的工作。来自印度海德拉巴大学和英国巴斯大学的团队,今年发表在 ACM MM2020 的一篇论文《A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild 》,提出一个叫做 Wav2Lip 的 AI 模型,只需一段人物视频和一段目标语音,就能让其合二为一,配合得天衣无缝。

 

 对口型大法 Wav2Lip,效果如此突出

要说对口型的技术,此前其实已经有很多,甚至在基于深度学习的技术出现之前,就有一些技术使角色的嘴唇形状与实际的语音信号相匹配。

但这个 Wav2Lip 在一众方法中,显示出了绝对优势。现有的其它方法,主要是基于静态图像,来输出与目标语音匹配的唇形同步视频,但对于动态的、在讲话的人物,唇形同步往往效果不佳。

而 Wav2Lip 则可以直接将动态的视频,进行唇形转换,输出与目标语音相匹配的视频结果。

此外,不仅是视频,还能给动图对口型,从此以后表情包又丰富了!

作者选取部分动图匹配口型

人工评估表明,与现有方法相比,Wav2Lip 生成的视频,在 90% 以上的时间中优于现有方法。

模型实际效果究竟如何?超神经进行了一番测试。以下视频展现了官方 demo 的运行效果,输入素材分别选取了官方提供的测试素材,以及超神经选取的中、英文测试素材。

输入的原视频中人物均未讲话

经过 AI 模型操作,实现了人物口型与输入语音同步

我们看到,官方 demo 的动画视频中,效果堪称完美。在超神经真人测试中,除了嘴唇稍有变形和抖动之外,整体唇形同步效果还是比较准确的。

 教程已出,三分钟学会

看到这里,你是不是也跃跃欲试了呢?如果你已经有了一个大胆的想法,那么不如从现在就开始动手吧。

目前,该项目已在 GitHub 开源,作者提供了交互演示、Colab notebook 以及完整的训练代码,推断代码和预训练模型以及教程。

项目具体信息如下:

项目名称:Wav2Lip

GitHub 地址:

https://github.com/Rudrabha/Wav2Lip

项目运行环境:

  • 语言:Python 3.6+

  • 视频处理程序:ffmpeg

人脸检测预训练模型下载:

https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth

除了准备以上环境,还需要下载安装以下软件包:

  • librosa==0.7.0

  • numpy==1.17.1

  • opencv-contrib-python>=4.2.0.34

  • opencv-python==4.1.0.25

  • tensorflow==1.12.0

  • torch==1.1.0

  • torchvision==0.3.0

  • tqdm==4.45.0

  • numba==0.48

不过,你也可以不用准备这些繁琐的程序,仅需准备一张图片/一段人物视频(CGI 人物亦可) + 一段音频(合成音频亦可),就可在国内的机器学习算力容器服务平台,直接一键运行。

传送门:https://openbayes.com/console/openbayes/containers/EiBlCZyh7k7 

目前,该平台还能薅羊毛,每周都赠送 vGPU 的使用时长,人人都可轻松完成教程。

完成整个教程仅需要 5 分钟

该模型有 Wav2Lip,Wav2Lip+GAN,以及 Expert Discriminator 三种权重。其中,后两者的效果都明显优于单独使用 Wav2Lip 模型,本教程中使用的权重即 Wav2Lip+GAN。

该模型作者强调,其开放源代码的所有结果仅应用于研究/学术/个人目的,模型基于 LRS2(Lip Reading Sentences 2)数据集训练,因此严禁任何形式的商业用途。

为了避免技术被滥用,研究者还强烈建议,使用 Wav2Lip 的代码和模型创建的任何内容都必须标明是合成的。

 

 背后关键技术:唇形同步辨别器

Wav2Lip 是如何听音频对口型这件事,做到了如此精确?

据介绍,实现突破的关键在于,研究者采用了唇形同步判别器,以强制生成器持续产生准确而逼真的唇部运动。

此外,该研究通过在鉴别器中,使用多个连续帧而不是单个帧,并使用视觉质量损失(而不仅仅是对比损失)来考虑时间相关性,从而改善了视觉质量。

作者使用一个预先训练的鉴别器

及时准确地检测唇形同步错误

研究者表示,他们的 Wav2Lip 模型几乎是万能的,适用于任何人脸、任何语音、任何语言,对任意视频都能达到很高的准确率,可以无缝地与原始视频融合,还可以用于转换动画人脸,并且导入合成语音也是可行的。

可以想象,这个神器可能又会造就一波鬼畜视频了……

论文地址:

https://arxiv.org/pdf/2008.10010.pdf

Demo 地址:

https://bhaasha.iiit.ac.in/lipsync/

—— 完 ——

 

 

 

 

AI数字人:语音驱动人脸模型Wav2Lip 2020年,来自印度海德拉巴大学和英国巴斯大学的团队,在ACM MM2020发表了的一篇论文《A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild 》,在文章中,他们提出一个叫做Wav2Lip的AI模型,只需要一段人物视频和一段目标语音,就能够让音频和视频合二为一,人物嘴型与音频完全匹配。对口型的技术,此前其实已经有很多,甚至在基于深度学习的技术出现之前,就有一些技术使角色的嘴唇形状与实际的语音信号相匹配。 阅读详情

相关推荐

高保真音视频合成技术的实用化落地指南

音视频合成技术已从早期‘深度伪造’概念演进为面向真实业务场景的高保真功能化工具。其核心原理在于通过可控生成架构(如扩散模型、NeRF、时空卷积)实现唇动-语音-微表情的毫秒级时序对齐与身份一致性维持,从而突破‘以假乱真’的认知局限,转向提升信息传递效率与认知增强的技术价值。在教育个性化教学、医疗依从性干预、文化遗产活化展陈、无障碍空间交互等刚需场景中,该技术正成为降低专业服务门槛、弥合数字鸿沟的关键基础设施。本文聚焦可部署、可验证、可溯源的工程实践路径,覆盖工具选型、参数调优、数据规范与合规设计。

weixin_30388677的博客 510

嘴型同步模型Wav2Lip

软硬件环境是ubuntu 18.04 64bitnvidia gtx 1070Ticuda 11anaconda with python 3.7简介2020年,来自印度海德拉巴大学和英国巴...

1万+

Easy-Wav2Lip-v8.2.zip

Easy-Wav2Lip-v8.2.zip

数字人解决方案——Wav2lip本地部署

执行安装包.bat命令 ,本地化安装运行环境包,launcher.py,安装包.bat,代码在文章末尾,复制到Wav2lip文件夹下新建文件,复制源码进去即可。下载地址:https://www.adrianbulat.com/downloads/python-fan/s3fd-619a316812.pth。将下载的模型文件放置在face_detection/detection/sfd目录下,并重命名为s3fd.pth。使用conda创建新的虚拟环境并激活。准备Wav2Lip模型文件。

u012148903的博客 1万+

唇形同步模型文件 wav2lip_gan.pth

本文件是 开源项目 https://github.com/Rudrabha/Wav2Lip 唇形同步的例子 所需的 模型文件。 作者放在 google 网盘里, 国内下载很不方便。 于是我提供了一份在这儿。

python爬取淘宝数据

python爬取淘宝数据淘宝评论 淘宝评论 打开淘宝,选择打开需要爬取的商品的评论。在谷歌浏览器选择开发者工具,选择network,找到list_detail_rate.htm?itemId=624466733121,点击headers、previews,可以看见相应的评论数据。 爬取一页屏评论代码如下 import re import requests headers = { 'Referer': '在headers中', 'User-Agent': '在

qq_36333776的博客 5800

FaceFusion自动唇形同步实验:让换脸人物‘说对口型’

通过结合FaceFusion与Wav2Lip技术,实现换脸人物口型与音频精准同步。该方案支持模块化处理、GPU加速,可应用于虚拟主播、跨语言视频生成等场景,显著提升合成视频的真实感和观赏性。

weixin_32535825的博客 740

数学分析五领域全景:实分析、复分析、泛函分析、傅里叶分析、凸分析

五种分析,五种视角,同一个目标。理解一个系统,首先要找到它的不变量。

li880862的博客 199

HeyGem系统AI生成艺术风格头像适配度良好

HeyGem数字人系统凭借对艺术风格头像的良好驱动能力,突破传统AI口型同步的局限,支持卡通、插画等非写实形象的自然说话动画生成。通过本地化部署、批量处理与直观WebUI,实现高效安全的内容创作,降低创意门槛。

weixin_42153793的博客 939

ComfyUI 本地部署指南:概念、部署过程、生成图片、共享 WebUI 模型

ComfyUI 是一个基于节点的 Stable Diffusion 图形化用户界面。您可以通过将不同的节点连接在一起来构建生成图像的工作流程。一些常用的节点包括加载检查点模型(Load Checkpoint)、输入提示词(CLIP Text Encode)、指定采样器(KSampler)等。ComfyUI 将工作流程分解为可重新排列的元素,以便您可以轻松创建自己的元素。

水滴的博客 5035

玩转Docker小游戏项目系列: Docker部署中国象棋网页小游戏

玩转Docker小游戏项目系列: Docker部署中国象棋网页小游戏

jks212454的博客 444

Sennheiser耳机监听HeyGem输出视频音质表现

借助Sennheiser专业耳机,深入评估HeyGem数字人系统的音频真实感。通过高保真监听发现合成语音中的齿音、断续与口型不同步等问题,建立从生成到质检的闭环流程,确保AI语音视频的自然与可信。

weixin_42514750的博客 638

52、基于格的具有解密密钥暴露抗性的可撤销(分层)身份基加密方案

本文提出了首个基于格的具有解密密钥暴露抗性(DKER)的可撤销分层身份基加密(RHIBE)方案。通过引入分层密文、分层解密密钥和级别转换密钥等创新工具,克服了格结构与传统密钥重新随机化属性不匹配的难题。该方案不仅支持可扩展的密钥撤销机制,还具备密钥委托功能,为后量子密码学领域的发展提供了新的思路和方法。

efc12345678的博客 124

长视频转短视频的系统工程:语义理解与信息流重构指南

长视频转短视频已超越基础剪辑范畴,演变为融合自然语言处理、计算机视觉与用户行为分析的跨模态内容重构技术。其核心在于从原始视频中精准识别语义锚点、生成高信息密度字幕、实现动态视觉焦点重映射,并匹配平台算法逻辑。该技术显著提升知识类、教育类、专业访谈类内容的完播率与转化效率,广泛应用于短视频分发、私域沉淀、课程产品化等场景。本文聚焦AI选片、智能字幕、竖屏重构与发布策略四大关键环节,详解如何通过语义理解与信息流重构,将长视频转化为高传播力的短视频资产。

weixin_29045001的博客 310

石油化工软件:ProII二次开发_(9).案例研究:ProII二次开发实例

我们将上述三个步骤整合到一个完整的案例中,展示如何从头到尾实现一个ProII二次开发项目。这个项目包括自动化流程模拟、数据处理与分析以及动态工艺参数调整。

kkchenjj的博客 919

2026华为OD机试(C++)真题【E卷+A卷+B卷+C卷+D卷】目录+在线OJ

华为OD机试真题题库【E卷+A卷+B卷+C卷+D卷】目录,C++实现。

MISAYAONE的博客 20万+

Wav2Lip原理以及训练

常规SyncNet:功能:音频和嘴唇同步实质:判断音频和唇形在某个共同参数空间下的相似性。网络结构:一种伪孪生网络结构,分别提取嘴形特征和音频特征,然后通过对比损失计算两者之间的距离。

丝萝愿为乔木的博客 1万+

2025华为OD 面试手撕代码真题【字符串至多删除一个字符,是否能构成回文串】

2025华为OD 面试手撕代码真题【字符串至多删除一个字符,是否能构成回文串】

MISAYAONE的博客 1711

超写实虚拟数字人再升级:Wav2Lip-GFPGAN完整版教程及效果视频评测【手把手】

在前面的一篇数字人文章中,我们介绍了AI主播虚拟人技术中的一项重要技术——Wav2Lip,并附上了完整版教程和效果评测,具体可见AI数字人虚拟主播技术实现Wav2Lip及效果演示评测【附完整版教程】。然而,我们也发现了一个问题,生成的视频中面部的画质相对模糊,缺乏细节清晰度。这次,我们基于之前的文章为基础,做了进一步的优化,引入了一种名为GFP-GAN的图像超分辨率算法,成功改善了这一问题,大大提升了画质。 https://yv2c3kamh3y.feishu.cn/docx/I8OLdvQSuoSRHXx

baoxueyuan的博客 6951

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

AI虚拟主播数字人技术实现Wav2Lip【附完整版教程】及【效果评测】

本文主要实现图片说话(如下图的蒙娜丽莎)、视频融合语音(这里的核心都是人物口型与音频中的语音唇形同步)。主要通过将两个不相关的人的视频、音频,采用Wav2Lip技术,最终得到一个完整的视频文件,且视频的人物口型与音频内容一致。举例:小红的语音、加上小花的自拍视频,融合为一个最终的视频;那么小红在发出“啊”声音的时候,小花的嘴应该是张开的,以下是一张效果图),本文第四部分有完整的效果评测视频!

baoxueyuan的博客 5519

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

深度学习系列64:数字人wav2lip详解

总体步骤差不多,但是相比于openHeygen要简化很多第一步,加载视频/图片和音频/tts。同样是用melspectrogram将wav文件拆分成mel_chunks。第二步,调用face_detect模型,给出人脸检测结果(可以改造成从文件中读取),包装成4个数组batch:img_batch(人脸),mel_batch(语音),frame_batch(原图),coords_batch(坐标)第三步,加载模型,进行计算。这个模型目前看下来就是简单的resnet,没有transfomer。

kittyzc的博客 5332

关于Wav2Lip配置&实现

Wav2Lip是一种先进的深度学习模型,旨在将音频波形直接转换为面部动画,尤其关注于唇部动作的生成与同步。这一技术的核心在于其能够利用输入的语音信号,生成与之高度匹配的嘴唇动作,从而实现逼真的语音驱动数字人物动画效果。Wav2Lip的开发不仅标志着在语音驱动的面部动画领域的一个重要进展,也为虚拟现实、游戏制作、智能语音助手等多个应用领域提供了新的技术手段。Wav2Lip模型基于生成对抗网络(GAN)设计,包含生成器和判别器两个主要部分。

qq_45821285的博客 3846

wav2lip:Accurately Lip-syncing Videos In The Wild

随机帧是和音频不同步,是根据音频和mask的图形生成真实的唇形,参考帧的意义我自己感觉是减少模型复杂度,但是也有解释,在前向推理时,其实输入的一定是和音频不同步的视频帧,此时不仅对唇形区域做mask,也会把原始的图像拼接起来concat,这样其实训练和推理时就保持一致了。上面两部分主要考虑的是唇形生成和同步的监督,但是还要考虑唇形生成质量问题,为了提升质量,在生成器后面加了一个gan结构,主要是判别器。音频每块是16,一个视频对应的音频,偏移量是80/fps,fps=25,每次偏移大概3。

liguandong 6389

Wav2Lip-GFPGAN

创建一个文件夹wav2lip_GFPgan,打开cmd,使用命令。,创建一个文件夹outputs做为输出目录,执行命令。拉取项目到本地,使用命令。创建虚拟环境,使用命令。

weixin_56587572的博客 5076

Wav2Lip视频人脸口型同步(Win10)

上述步骤中涉及到下载地址的,直接访问官网首页对应链接即可下载。直接进 pytorch 官网,用官网的方法安装。这个地址,里面的三个视频可以直接下载使用。最终合成的视频,在 results 目录下。直接用官方的视频demo,进入。推荐这个网站,很好用。

莫扎特不唱摇篮曲 2695
上一篇: 英伟达 GTC 中国站明日开幕,又将揭秘哪些黑科技?
下一篇: 我国首艘无人 AI 科考船开建,将于 2022 年交付
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值