论文阅读：You said that?

最新推荐文章于 2023-03-06 14:34:09 发布
原创 最新推荐文章于 2023-03-06 14:34:09 发布 · 742 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

这篇博客介绍了如何使用Speech2Vid模型将声音直接转化为与音频同步的视频帧。模型通过学习音频和目标脸部的联合嵌入来生成视频，主要由音频编码器、身份编码器和图像解码器组成。训练过程中，使用了VoxCeleb和LRW数据集，并利用预训练的VGG-M网络来提取身份特征。尽管进行了正面化处理，但为了解决对齐问题，还引入了一个去模糊模块。模型通过L1损失进行优化，训练时使用不同时间点的图像作为输入，以生成单帧视频，而不需要严格的时间连续性约束。

[toc】

前言

  • 以往的输出往往都需要借助中间形式， landmarks， 3d models， 这是一个从声音直接映射到视频的方法， 输入是声音和图像， 输出是一段视频。
  • 关键思想是学习到target face 和 speech segment的joint embedding， 这个embedding可以被用于产生和音频同步的帧。

Dataset

整个流程如下：
在这里插入图片描述
这里canonical face就类似正面化的脸部， 如下图：
在这里插入图片描述
这里需要用到一些变换， 因为输入的人脸要变正， 通过放缩， 旋转和平移实现相似变换。这里变换的是鼻子眼睛啥的， 嘴部没有变化。为了保留嘴部运动信息。
在这里插入图片描述

在这里插入图片描述
使用了VoxCeleb和LRW数据集， 用DLIB检测landmarks。 作者还提到SyncNet提供了视频中音频和视觉面部序列的联合嵌入， 可以确定好几个人中是谁在讲话， 同时还可以纠正语音同步错误， 我寻思LRW数据集也不用这么折腾····

最低0.47元/天 解锁文章
提示工程架构师的海外机会：如何进入国际公司？
移动开发前沿的博客
09-12 5281
想象一个场景：你对着ChatGPT说"写个营销文案"，它可能输出套话；但如果说"帮美国加州的瑜伽馆写Facebook广告，目标用户是25-35岁的职场女性，要突出’下班后1小时放松’和’首节9.9美元’，用口语化的加州俚语"——AI会立刻输出更精准的内容。 这里的"精准指令"就是Prompt（提示词），而提示工程架构师的工作，就是帮企业设计这样的"精准翻译系统"：简单说，大模型是"超级大脑"，提示工程是"教大脑怎么思考"，架构师是"设计教大脑的方法论"——这就是为什么海外公司愿意为这个岗位付15-30万美元
《STAR: A Schema-Guided Dialog Dataset for Transfer Learning》论文阅读
weixin_44385551的博客
10-24 841
《STAR: A Schema-Guided Dialog Dataset for Transfer Learning》 标题：《STAR: A Schema-Guided Dialog Dataset for Transfer Learning》 作者：Rasa，卡耐基梅隆大学 时间：2020年10月 源码：https://github.com/RasaHQ/STAR 内容：作者公开了名叫STAR的schema-guided任务型对话的新数据集。特别地，作者提出了新式的对话数据模式，解决了过去数据集的问题
【阅读笔记】《Grad-CAM: Why did you say that? ...》
ShuqiaoS的博客
05-31 2243
本文记录了博主阅读论文《Grad-CAM: Why did you say that? Visudal Explanations from Deep Networks via Gradient-based Localization》的笔记，代码，demo。更新于2019.05.31。 文章目录AbstractIntroductionRelated WorkApproachWeakly-superv...
Neural Head Reenactment with Latent Pose Descriptors
qq_36321330的博客
04-09 579
123
语音合成论文优选：多模态Text2Video: Text-driven Talking-head Video Synthesis with Phonetic Dictionary
低调奋进
05-18 1700
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Text2Video:Text-driven Talking-head Video Synthesis with Phonetic Dictionary 本文是Baidu Research, USA在2021.04.29更新的文章，主要工作为多模态的talking-head,把text转成video，具体的文章链接 https://arx.
【虚拟人综述论文】Human-Computer Interaction System: A Survey of Talking-Head Generation
风信子的猫Redamancy的快乐星球
03-04 6143
由于人工智能的快速发展，虚拟人被广泛应用于各种行业，包括个人辅助、智能客户服务和在线教育。拟人化的数字人可以快速与人接触，并在人机交互中增强用户体验。因此，我们设计了人机交互系统框架，包括语音识别、文本到语音、对话系统和虚拟人生成。接下来，我们通过虚拟人深度生成框架对Talking-Head Generation视频生成模型进行了分类。同时，我们系统地回顾了过去五年来在有声头部视频生成方面的技术进步和趋势，强调了关键工作并总结了数据集。
人脸识别二
AI+机器人
02-28 6561
awesome-Face_Recognition Face Tracking; Face Clustering; Face Super-Resolution && Face Deblurring && Face Hallucination; Face Generation && Face Synthesis && Face Completion && Face Restoration && Face De-O
论文阅读: Towards Automatic Face-to-Face Translation
landing_guy_的博客
05-14 2218
了解提出LipGAN的论文架构
目标检测经典论文——YOLOv4论文翻译：YOLOv4: Optimal Speed and Accuracy of Object Detection（YOLOv4: 目标检测最优速度和精度）
bigcindy的博客
08-01 7636
YOLOv4: Optimal Speed and Accuracy of Object Detection YOLOv4: 目标检测最优速度和精度 Alexey Bochkovskiy* alexeyab84@gmail.com Chien-Yao Wang* Institute of Information Science Academia Sinica, Taiwan kinyiu@iis.sinica.edu....
vid2speech-master论文——代码调试
weixin_44136575的博客
10-20 363
代码调试 1、 ValueError: Negative dimension size caused by subtracting 2 from 1 for ‘{{node max_pooling2d_4/MaxPool}} = MaxPoolT=DT_FLOAT, data_format=“NHWC”, ksize=[1, 2, 2, 1], padding=“VALID”, strides=[1, 2, 2, 1]’ with input shapes: [?,1,16,128]. ## 解决: in
深度学习之视频语音+视频摘要+视频显示检测+视频理解--附带源码和作者主页
WJ_MeiMei的博客
11-22 7325
视频语音 Vid2speech: Speech Reconstruction from Silent Video intro: ICASSP 2017 project page: http://www.vision.huji.ac.il/vid2speech/ arxiv: https://arxiv.org/abs/1701.00495 github(official): https:...
Imitating Arbitrary Talking Style for Realistic Audio-Driven Talking Face Synthesis 译文
weixin_41967328的博客
03-06 1067
Imitating Arbitrary Talking Style for Realistic Audio-Driven Talking Face Synthesis 模仿任意说话风格进行真实音频驱动的人脸合成
对基于深度神经网络的Auto Encoder用于异常检测的一些思考
dong_lxkm的博客
07-23 1万+
一、前言     现实中，大部分数据都是无标签的，人和动物多数情况下都是通过无监督学习获取概念，故而无监督学习拥有广阔的业务场景。举几个场景：网络流量是正常流量还是攻击流量、视频中的人的行为是否正常、运维中服务器状态是否异常等等。有监督学习的做法是...
自编码器（autoencoder）了解一下
热门推荐
qq_24407657的博客
09-07 8万+
   自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。输入数据的这一高效表示称为编码（codings），其维度一般远小于输入数据，使得自编码器可用于降维。更重要的是，自编码器可作为强大的特征检测器（feature detectors），应用于深度神经网络的预训练。此外，自编码器还可以随机生成与训练数据类似的数据，这被称作生成模型（generative model）。比如，可以...
MediaPipe基础（2）人脸网格
weixin_43229348的博客
09-28 7551
1.摘要 MediaPipe Face Mesh 是一种面部几何解决方案，即使在移动设备上也能实时估计 468 个 3D 面部标志。它采用机器学习 (ML) 来推断 3D 表面几何形状，只需要一个摄像头输入，无需专用深度传感器。该解决方案在整个管道中利用轻量级模型架构和 GPU 加速，提供对实时体验至关重要的实时性能。 此外，该解决方案与人脸几何模块捆绑在一起，弥合了人脸地标估计和有用的实时增强现实 (AR) 应用程序之间的差距。它建立了一个可度量的3D空间，并使用面部地标屏幕位置来估计该空间内的面部几何形
Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose （译文）
weixin_41967328的博客
11-17 3583
链接 Arxiv： https://arxiv.org/abs/2002.10137 Video： https://www.bilibili.com/video/BV15f4y1t7FD/ 摘要 现实世界中会说话的面孔通常伴随着自然的头部运动。然而，大多数现有的谈话人脸视频生成方法只考虑具有固定头部姿势的面部动画。在本文中，我们提出了一个深度神经网络模型来解决这个问题，该模型将源人物的音频信号a和目标人物的非常短的视频V作为输入，并输出具有个性化头部姿势（利用V中的视觉信息）、表情和嘴唇同步的合成高质量对话
【深度学习论文笔记】Recover Canonical-View Faces in the Wild with Deep Neural Network
1983的专栏
06-17 8919
文章来源：CVPR2014 作者：Zhenyao Zhu，Ping Luo 1 Xiaogang Wang2 Xiaoou Tang
理解DFT(离散傅里叶变换)
landing_guy_的博客
12-16 2万+
详细理解什么是DFT
理解FFT, STFT, 加窗的含义
landing_guy_的博客
12-16 1万+
理解所谓的N点FFT是啥, 理解STFT, 理解加窗的作用
Traceback (most recent call last): File "D:\PythonProject\练习.py", line 2, in <module> print("he said \"let's go\"".titie()) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ AttributeError: 'str' object has no attribute 'titie'. Did you mean: 'title'?
最新发布
05-31
### Python 'str' object has no attribute 'titie' AttributeError 解决方案 在 Python 中，当尝试调用一个字符串对象的不存在的方法时，会抛出 `AttributeError` 异常。根据问题描述，错误信息为 `'str' object ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

live_for_myself

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值