18、卷积神经网络中对角化池化的形态

卷积神经网络中对角化池化的形态

1. 引言

在使用卷积神经网络进行高精度空间和光谱图像识别时，为了实现最佳计算资源的利用，开发新的池化方法至关重要。池化过程可视为对卷积图像激活值的下采样，池化层通常置于连续卷积层之间，它能完成多项关键任务：
- 汇集最有价值的信息，舍弃价值较低或无关的信息；
- 降低卷积张量的空间维度；
- 逐步减少权重数量；
- 与其他正则化方法（如丢弃法）一起，通过防止过拟合来稳定学习过程。

然而，传统的池化方法（如最大池化和平均池化）会导致信息丢失，这可能对后续的分类任务产生不利影响。为解决这一问题，本文提出了一种对角化池化（DiagPooling）方法。

2. 相关工作

现有的池化类型具有不同的方法和操作，常见的经典池化层有最大池化、最小池化、平均池化和随机池化等。尽管这些方法能在特征图下采样时提取关键信息，但也存在明显的缺点。

例如，最大池化在丢弃除最大值之外的所有值时会丢失信息；平均池化虽然考虑了卷积和激活图像的所有元素，但在最小池化区域会降低最大激活值，同样导致信息损失。

为了部分减少这些损失，研究人员提出了一些改进方法：
- PCA 池化 ：在 PCANet 中使用主成分分析进行池化，创建的池化层用于学习多级滤波器组。
- “负责”池化 ：如混合池化和门控池化，它们产生平均池化和最大池化的掩码和加权组合，兼顾了最大值和所有值。
- 简单混合池化公式：$f_{mixed}(x) = ωf_{max}(x) + (1 - ω)f_{avg}(x