WaveNet笔记

 

直接在原始音频波形上处理

 

特色是使用带洞因果卷积处理音频(dialated causal convolutions)

因果卷积：

果卷积的意义就是WaveNet在生成t时刻的元素时，只能使用0到t-1时刻的元素值。在WaveNet中利用，output输出只利用了之前的元素来生成。

 

由于声音文件是时间上的一维数组，16KHz的采样率的文件，每秒钟就会有16000个元素，而上面所说的因果卷积的感受野非常小，即使堆叠很多层也只能使用到很少的数据来生成t时刻的的元素，为了扩大卷积的感受野，WaveNet采用了堆叠了（stack）多层带洞（dilated ）卷积来增到网络的感受野，使得网络生成下一个元素的时候，能够使用更多之前的元素数值。带洞卷积如下图所示：

 

原文：https://blog.youkuaiyun.com/zsssrs/article/details/79892523 

门激活函数和PixelCNN中的类似

在整个网络中都会使用残差（He et al。，2015）和参数化跳过连接，以加速收敛并支持对更深层模型进行培训。在图4中，我们展示了我们模型的一个残余块，它在网络中堆叠多次。