22、卷积神经网络：从理论到实践

卷积神经网络：从理论到实践

1. 卷积的泛化应用

在计算机视觉领域，传统上计算机视觉专家的工作是设计出最有效的滤波器组合，以便在图像中突出某些特征，从而实现对象识别。这些滤波器可以检测水平或对角边缘、十字形或棋盘格图案等，“检测”意味着输出具有较高的幅度。

而深度学习则让内核从数据中以最有效的方式进行估计，例如通过最小化输出与真实标签之间的负交叉熵损失。从这个角度来看，卷积神经网络（Convolutional Neural Network, CNN）的任务是估计一系列滤波器组的内核，将多通道图像转换为另一个多通道图像，不同的通道对应不同的特征，如一个通道表示平均值，另一个通道表示垂直边缘等。

2. 深度与池化的进一步探索

虽然从全连接层转向卷积层实现了局部性和平移不变性，并且推荐使用小内核（如 3×3 或 5×5），但这只能捕捉小范围的特征。对于更大范围的结构，我们该如何处理呢？例如在解决鸟类与飞机的分类问题时，CIFAR - 10 图像虽小，但对象的（翅膀）跨度仍有几个像素。

一种可能是使用大卷积核，但对于 32×32 的图像使用 32×32 的内核，会退化为传统的全连接仿射变换，失去卷积的优势。另一种在卷积神经网络中常用的方法是堆叠卷积层，并在连续卷积之间对图像进行下采样。

2.1 下采样方法

下采样原则上可以通过不同方式实现，将图像缩小一半相当于将四个相邻像素作为输入，输出一个像素。计算输出值的方法有以下几种：
- 平均池化 ：早期常用的方法，将四个像素取平均值，但现在已不太受欢迎。
- 最大池化