【论文学习笔记】《WaveNet: A generative model for raw audio》

最新推荐文章于 2024-11-15 21:10:23 发布
原创 最新推荐文章于 2024-11-15 21:10:23 发布 · 4k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #语音识别 #google wave #python #tts

本文围绕WaveNet论文展开学习。WaveNet是生成原始音频波形的深度神经网络，可在高采样率音频数据上高效训练。其应用于语音合成、识别与音乐合成。模型运用因果卷积、扩大卷积等结构，还介绍了SOFTMAX分布、门控激活单元等。实验内容可查看项目主页，该模型在多方面表现出色。

WaveNet论文学习

文章目录

   摘要

       WaveNet是一个生成原始音频波形的深度神经网络。WaveNet是一个完全概率自回归模型，每个音频样本的预测分布取决于之前的所有样本。WaveNet可以在每秒数万采样率的音频数据上高效地进行训练。
       

   应用方向

       这篇论文研究了WaveNet在三个方向的应用：语音合成、语音识别与音乐合成。
       
       在语言合成方向：WaveNet获得了当前业界最佳的性能。WaveNet测试了英语和普通话的语音合成，并于此前效果最好的两种方式：参数式与拼接式进行了对比。主观评价表明：WaveNet在自然度上有大幅度的提升。
       
       在语音识别方向：WaveNet可以以相同的保真度捕获很多说话人的特征，并可以针对说话者进行训练后在多人之间切换语音特征。
       
       在音乐合成方向：WaveNet可以产生新颖的高度真实的音乐片段，且在判别模型应用在音素识别中有客观的前景。
       

   模型结构

      1.WaveNet运用了因果卷积与扩大卷积。

因果卷积示意图
       因果卷积确保了模型输出不会违反数据的顺序，模型在某时刻输出的预测不会依赖任何一个未来时刻的数据。
       
       且在训练阶段，每个时刻的输出需要计算的样本都是已知

最低0.47元/天 解锁文章
【论文阅读】【TIPRGB】WaveNet: Wavelet Network With KnowledgeDistillation for RGB-T Salient Object Detection
qq_52157805的博客
11-04 958
基于注意机制的变压器优于传统的卷积神经网络。与卷积神经网络和变压器相比，MLP引入的归纳偏置更小，泛化能力更强。此外，变压器在推理、训练和调试时间上呈指数增长考虑到波函数表示，我们提出了WaveNet架构，该架构采用一种新颖的面向视觉任务的基于小波的MLP进行特征提取，以在RGB（红绿蓝）热红外图像中进行显著目标检测。此外，我们将知识蒸馏应用于变压器作为高级教师网络，获取丰富的语义和几何信息，并利用这些信息指导WaveNet学习。
论文阅读：《A Wavenet For Speech Denoising》
绝版小哥的博客
08-28 1981
论文地址：A Wavenet For Speech Denoising 项目地址：Github-speech-denoising-wavenet 其他资料：演示地址 摘要 目前，大多数语音处理技术使用幅度谱图作为前端，因此默认放弃信号的一部分:相位。为了克服这一局限性，我们提出了一种基于Wavenet的语音去噪端到端学习方法。所提出的模型自适应保留了Wavenet强大的声学建模能力，同时通过消除其自回归特性，显著降低了时间复杂度。具体来说，该模型使用非因果膨胀卷积预测目标域，而非单一目标样本。我们提出.
WaveNet: A Generative Model for Raw Audio
人工智能
05-10 7654
WaveNet: A Generative Model for Raw Audio Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, Koray Kavukcuoglu (
WaveNet论文
11-22
This paper introduces WaveNet, a deep neural network for generating raw audio waveforms. The model is fully probabilistic and autoregressive, with the predic- tive distribution for each audio sample conditioned on all previous ones; nonethe- less we show that it can be efficiently trained on data with tens of thousands of samples per second of audio. When applied to text-to-speech, it yields state-of- the-art performance, with human listeners rating it as significantly more natural sounding than the best parametric and concatenative systems for both English and Mandarin. A single WaveNet can capture the characteristics of many different speakers with equal fidelity, and can switch between them by conditioning on the speaker identity. When trained to model music, we find that it generates novel and often highly realistic musical fragments. We also show that it can be employed as a discriminative model, returning promising results for phoneme recognition.
WaveNet：A Generative Model for Raw Audio
justin0314的博客
08-22 1438
WaveNet:A Generative Model for Raw Audio会说话的机器WaveNet提升目前为止的最好表现知道自己在说什么生成音乐 这是我的第一篇博客，决定先翻译一篇文章练练手，正好接下来要做音频生成的项目，就决定翻译一下DeepMind一篇关于WaveNet的博客。 这是原文的地址。 这篇文章介绍了WaveNet，一种原始音频波形的深度生成模型。我们展示了WaveNets可...
WAVENET: A GENERATIVE MODEL FOR RAW AUDIO
qq_59482564的博客
01-10 1606
这篇论文提出了WaveNet，一个生成原始音频波形的深度神经网络。这是一个完全的概率自回归模型，它基于之前已经生成的所有样本，来预测当前音频样本的概率分布；不过，我们将会展示它可以在每秒数万采样率的音频数据上高效地进行训练。将其应用到语音合成，它可以获得当前业界最佳的性能，不管是英语还是中文普通话，相比之前最好的参数式和拼接式系统，人类听众评价其在自然度上有大幅度进步。单一模型的WaveNet可以以相同的保真度捕获很多说话人的特征，并可以针对说话者进行训练后在多人之间切换。
【论文学习笔记】《WaveGlow : A Flow-Based Generative Network For Speech Synthesis》
求求你们别卷了
04-08 2278
《WaveGlow : A Flow-Based Generative Network For Speech Synthesis》论文学习 文章目录《WaveGlow : A Flow-Based Generative Network For Speech Synthesis》论文学习  摘要  1 介绍  2 WaveGlow    2.1 仿射耦合层    2.2 1x1可逆的卷积    2.3 早期输出&nbsp
【论文学习笔记】《StarGAN-VC: Non-Parallel M2M Voice Conversion With Star Generative Adversarial Networks》
求求你们别卷了
03-23 2284
《StarGAN-VC: Non-Parallel Many-To-Many Voice Conversion With Star Generative Adversarial Networks》论文学习 文章目录《StarGAN-VC: Non-Parallel Many-To-Many Voice Conversion With Star Generative Adversarial Networks》论文学习  摘要  1 介绍  2 CYCLEGAN 声音转换&nbs
深度学习 论文
02-22
WaveNet: A Generative Model for Raw Audio (2016), A. Oord et al. Colorful image colorization (2016), R. Zhang et al. Generative visual manipulation on the natural image manifold (2016), J. Zhu et al...
[机器学习入门] 李宏毅机器学习笔记-18 （Deep Generative Model-part 1：深度生成模型-part 1）
Holeung blog
06-22 5980
[机器学习入门] 李宏毅机器学习笔记-18 （Deep Generative Model-part 1：深度生成模型-part 1） PDF VIDEOCreation 据说在费曼死后，人们在他生前的黑板上拍到如图画片，在左上角有道：What i cannot create ,I do not understand. Generative models,就是在做创造的事情。 Imag
wavenet-speech-to-text:基于DeepMind的WaveNet的PyTorch语音识别实现
05-15
使用WaveNet进行语音转文字 仍然需要弄清楚CTCLoss的南问题 基于DeepMind论文： 语音识别实现。 此实现的目的是结构合理，可重用且易于理解。 这里的流实现： 尽管WaveNet被设计为“文本到语音”模型，但该论文提到他们也在语音识别任务中对其进行了测试。 他们没有提供有关实现的具体细节，只是表明他们通过直接在TIMIT上对原始音频进行训练的模型在测试数据集上达到了18.8 PER。 我从修改了WaveNet模型，并将的语音识别实验。 下图显示了最终的体系结构。 （图片来源： ） 先决条件 系统 Linux CPU或（NVIDIA GPU + CUDA CuDNN） Python 3.6 图书馆 PyTorch = 0.4.0 librosa = 0.5.0 熊猫> = 0.19.2 == 0.11.0 数据集 我们使用了 ， 和语料库。 由上
paper阅读总结篇（2）：WAVENET: A GENERATIVE MODEL FOR RAW AUDIO
weixin_39511173的博客
06-04 840
WaveNet 前言： 目前deep learning的目标逐渐开始注重视频的声音，然后声音的frequency是非常高的，paper做法一般采用16khz，一般mp3文件可能更高，大约100多khz左右吧。然后常规的convolution卷积的效果并不理想，因为感受野太小了，怎么样提高感受野是audio模型的关键问题，wavenet采用了DILATED CAUSAL CONVOLUTIONS，然...
论文笔记：WaveNet: A Generative Model For Raw Audio
travalscx的博客
04-21 2108
WaveNet: A Generative Model For Raw Audio 目的主要是：生成的语音听起来比其他的tts方法更流畅。 还可以实现：文本到语音，语音转换，生成音乐，辨别 其实就是提供了一个通用的网络，加以改造就能够完成不同的任务 相关的知识： PixelCnn 用于图片生成的cnn casual convolution 因果卷积 dilated convolution 扩展卷积...
论文要点：WaveNet（模型M+公式F+代码C）
qq_26911523的博客
05-10 373
论文：Wavenet_a generative model for raw audio by A¨ aron van den Oord, et al。
WaveNet 分析和实现-WaveNet: AGenerative Model for Raw Audio
shuijingpaopao的博客
04-18 1331
目录应用：技术点：关键问题：1、因果卷积与LPC区别：2、为什么使用dilate卷积？文本是如何转语音的？4、residual learning能加速收敛6、为什么CNN中反卷积也叫transport convolution 参考文献： WaveNet: AGenerative Model for Raw Audio. Aaron van den Oord, Sander Dieleman, He...
WAVENET论文阅读
mathor的博客
09-28 1268
论文下载 谷歌DeepMind2016年的深度生成模型 WaveNet 将机器语音合成的表现与人类之间水平的差距至少缩减了 50% ABSTRACT 这篇论文提出了WaveNet，一个生成原始音频波形的深度神经网络。这是一个完全的概率自回归模型，它基于之前已经生成的所有样本，来预测当前音频样本的概率分布；不过，我们将会展示它可以在每秒数万采样率的音频数据上高效地进行训练。将其应用到语音合成，它获得了当前业界最佳的性能，不管是英语还是中文普通话，相比之前最好的参数式和拼接式系统，人类听众评价其在自然度上有大
【论文翻译】WaveNet：一种原始音频的生成模型
lujian1989的专栏
08-30 7829
Google Brain团队结合Tacotron和WaveNet等研究思路，增加了更多改进，最终实现了新的端到端语音合成系统Tacotron 2，达到了接近人声的效果。 原论文链接： WaveNet: A Generative Model for Raw Audio 最近开始研究端到端语音合成。相关的论文原本准备自己翻译，看到网上已经有翻译的比较好的版本， 故转载于...
WaveNet: 原始音频生成模型
weixin_30555753的博客
03-21 551
官方博客 WaveNet: A Generative Model for Raw Audio paper地址：paper Abstract WaveNet是probabilistic and autoregressive的生成，对每个预测的audio sample的分布都基于前面的前面的sample分布。在TTS的应用中，能达到state_of_art的效果，听觉感受上优于parametri...
Graph WaveNet（论文+代码）
最新发布
雷东宸的博客
11-15 1581
对论文Graph WaveNet for Deep Spatial-Temporal Graph Modeling做粗略解读。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值