卷积基层学习1

a. 卷积

关于卷积的概念和细节可以参考这里,卷积运算有两个非常重要特性，以下面这个一维的卷积为例子：第一个特征是稀疏链接。可以看到，layer m上的每一个节点都只与layer m-1对应区域相连接。这个局部范围也叫感受野。第二个特征是相同颜色的线条嗲表了相同的权重，即权重共享。这样做有什么好处呢？一方面权重共享可以极大减小参数的数目，学习起来更加有效，另一方面，相同的权重可以让过滤器不受图像位置的影响来检测图像的特性，从而使 CNN 具有更强的泛化能力。

b. 池化

理论上，我们将图像利用不同的过滤器通过卷积之后得到了多个卷积之后的图像，然后直接利用这些图像进行分类，但是这样计算量太大了。利用池化操作可以将数据量减小，同时在一定程度上保留原有的图像特征。关于 pooling， 概念更加简单了，详情可以参考这里。池化又可以分为平均池化和最大池化，这里我们将采用最大池化。注意到，池化的区域是不重叠的，卷积的感受野是重叠的。

2. 卷积神经网络的搭建

下图是手写数字识别中采用的 lenet-5 简单的卷积神经网络模型：

1. 原图是 28 × 28 的手写数字图片，通过第一次 20 个 5 × 5 的卷积核之后，得到 20 张卷积图片。卷积核的权重是取一定范围内的随机值，这样，一张 28 × 28 的图片就变为 20 张 （28-5+1）× （28-5+1）=24×24 的图片了。

2. 将 24×24 的图片进行 2 × 2 的最大池化，得到 20 张 12 × 12 的图片。该图片的像素还需要进行 tanh 函数的变换才能作为下一个卷积层的输入。

3. 将 tanh 变化之后的 12 × 12 大小的图片同样进行 20 × 50 个 5 × 5 的卷积操作之后得到 50 张 （12-5+1）× (12-5+1) = 8 × 8 的图片。

4. 将 8×8 的图片进行 2×2 的最大池化，得到 50 张 4×4 的图片，再经过 tanh 函数进行归一化处理，就可以作为 MLP 的 800 个输入了。

5. 余下来就是 MLP 的训练工作了。