22、卷积神经网络：从基础到实践

卷积神经网络：从基础到实践

1. 卷积的泛化应用

在计算机视觉领域，传统上计算机视觉专家的工作是设计出最有效的滤波器组合，以便在图像中突出某些特征，从而实现对象的识别。这些滤波器可以检测水平或对角边缘、十字形或棋盘格图案等，“检测”意味着输出具有较高的幅值。

而在深度学习中，我们让卷积核从数据中以最有效的方式进行估计，例如通过最小化输出与真实标签之间的负交叉熵损失。从这个角度来看，卷积神经网络的任务是估计一系列滤波器组的卷积核，将多通道图像转换为另一个多通道图像，不同的通道对应不同的特征，如一个通道表示平均值，另一个通道表示垂直边缘等。

2. 深度与池化的进一步探索

虽然从全连接层转向卷积层能实现局部性和平移不变性，并且我们推荐使用小卷积核（如 3×3 或 5×5）来实现局部性，但这也带来了一个问题：如何处理图像中更大范围的结构？例如，在解决鸟类与飞机的分类问题时，尽管 CIFAR - 10 图像尺寸较小，但对象的（翅膀）跨度仍有几个像素。

一种可能的方法是使用大卷积核，但当卷积核大小达到图像大小时（如 32×32 的图像使用 32×32 的卷积核），就会退化为传统的全连接仿射变换，失去卷积的优势。另一种在卷积神经网络中常用的方法是堆叠卷积层，并在连续卷积之间对图像进行下采样。

2.1 下采样方法

下采样可以通过多种方式实现，将图像缩小一半相当于将四个相邻像素作为输入，输出一个像素。计算输出值的方法有以下几种：
- 平均池化 ：早期常用的方法，计算四个像素的平均值，但现在使用较少。
- 最大池化 ：