CNN中的采样和池化

之前学习神经网络总是感觉采样就是池化，经过后来的学习发现，其实采样还真是池化。

采样层是使用 pooling的相关技术来实现的，目的就是用来降低特征的维度并保留有效信息，一定程度上避免过拟合。但是pooling的目的不仅仅是这些，他的目的是保持旋转、平移、伸缩不变形等。

采样有最大值采样，平均值采样，求和区域采样和随机区域采样等。池化也是这样的，比如最大值池化，平均值池化，随机池化，求和区域池化等。

mean-pooling，即对邻域内特征点只求平均，max-pooling，即对邻域内特征点取最大。根据相关理论，特征提取的误差主要来自两个方面：（1）邻域大小受限造成的估计值方差增大；（2）卷积层参数误差造成估计均值的偏移。一般来说，mean-pooling能减小第一种误差，更多的保留图像的背景信息，max-pooling能减小第二种误差，更多的保留纹理信息。Stochastic-pooling则介于两者之间，通过对像素点按照数值大小赋予概率，再按照概率进行亚采样，在平均意义上，与mean-pooling近似，在局部意义上，则服从max-pooling的准则。

LeCun的“Learning Mid-Level Features For Recognition”对前两种pooling方法有比较详细的分析对比，如果有需要可以看下这篇论文。

部分参考：http://blog.youkuaiyun.com/wonengguwozai/article/details/51248995