【Mixed Pooling】《Mixed Pooling for Convolutional Neural Networks》

RSKT-2014
International conference on rough sets and knowledge technology

---

---

1 Background and Motivation

池化层的作用（一文看尽深度学习中的9种池化方法！）

• 增大网络感受野
• 抑制噪声，降低信息冗余
• 降低模型计算量，降低网络优化难度，防止网络过拟合
• 使模型对输入图像中的特征位置变化更加鲁棒

作者针对 max 和 ave pooling 的缺点，

提出了 mix pooling——randomly employs the local max pooling and average pooling methods when training CNNs

2 Review of Convolutional Neural Networks

• Convolutional Layer，包括卷积操作和 activation function
• Non-linear Transformation Layer，也即 normalization 层，现在比较流行的是 BN 等，以前的是 LCN（local contrast normalization） 和 AlexNet 的 LRN（the local response normalization） 等，PS:论文中 LCN 的公式感觉有问题，LRN 细节也原版论文也有差距，形式基本一致
• Feature Pooling Layer

3 Advantages / Contributions

借鉴 dropout， 混合max 和 ave 池化，提出 mixed pooling

4 Method

1）mixed pooling 公式

$\lambda$ is a random value being either 0 or 1

2）mixed pooling 反向传播

先看看 max 和 ave pooling 的反向传播

max pooling

（图片来源于网络，侵删！！！）

ave pooling

（图片来源于网络，侵删！！！）

mixed pooling

得记录下 $\lambda$ 的取值，才能正确反向传播

the pooling history about the random value $\lambda$ in Eq. must be recorded during forward propagation.

3）Pooling at Test Time

统计训练时某次 pooling 采用 max 和 ave 的频次 F m a x k F_{max}^{k}