感受野 ConvBank

ConvBank，用于扩大感受野，抓取长时信息

 

感受野是卷积神经网络里面最重要的概念之一，为了更好地理解卷积神经网络结构，甚至自己设计卷积神经网络，对于感受野的理解必不可少。

 

感受野被定义为卷积神经网络特征所能看到输入图像的区域，换句话说特征输出受感受野区域内的像素点的影响。

 

pooling为什么可以提高感受野呢？

第一个作用是降低feature map的尺寸，减少需要训练的参数

其次，因为有缩小的作用，所以之前的4个像素点，现在压缩成1个。那么，相当于我透过这1个点，就可以看到前面的4个点，这不就是把当前map的感受野一下子放大了

--pooling降维减少参数量，并且增大感受野。

 

Tacotron 首提 CBHG

Tacotron: Towards End-to-End Speech Synthesis

Tactron是基于seq2seq model with attention，它包括一个encoder, attention-based decoder, a post-processing net.

模型先使用一系列的一维卷积网络，有一系列的filter，filter_size从1到K，形成一个Conv1D Bank。这样的作用相当于使用了一系列的unigrams, bigrams直到K-grams，尽可能多的拿到输入序列从local到context的完整信息。即K个1-D卷积，第K个卷积核（filter）通道为k。这些卷积核可以对当前以及上下文信息有效建模。

 

卷积神经网络中Filter是怎么工作的？

输入层是输入的图像，有可能是三通道的有可能是单通道的

filter的最大的特点是其深度与输入层的深度是一致的。输入层是单通道，filter也是单通道。 输入层是三通道，filter也是三通道

输出层的就是filter遍历输入层后的的计算结果。输出层的深度是滤波器的个数，每一个filter遍历输入层会产生一个深度的输出层，那么n个输出层就会产生n个深度的输出层（也就是输出层的深度啦）

在conv2d中，

假设inpute的四个维度是[batch, in_height, in_width, in_channels]，

filter的四个维度是[filter_height, filter_width, in_channels, out_channels]。

filter的输入输出很清楚了，filter的通道数与输入层的通道数是一致的，就是in_channels

out_channels，有多少输出通道，就有多少个filter。

https://www.jianshu.com/p/5268b42daeda

https://blog.youkuaiyun.com/jiachen0212/article/details/78548667

https://blog.youkuaiyun.com/qq_40168949/article/details/87869240