卷积神经网络 convolutional neural network

 本文主要介绍卷积神经网络的结构， 训练。

1. 什么是卷积

     1.1 数学上的卷积

                   数学上的卷积形式为

                  这个卷积函数可以看做是按如下的过程产生的

1.将两个函数 f 个 g 用变量表示

2.将一个函数取反 

3.增加一个时间偏移t， 使得可以沿着轴滑动

4.把 t 从负无穷滑动到正无穷，在两个函数相交的地方，计算上面的积分。也就是说， 计算 f 的加权平均， 权值函数为 g 。

1.2 卷积神经网络中的卷积

卷积神经网络中的卷积和数学中并不一样， 但也有很多相似的地方， 我们在看完卷积神经网络（以后简称CNN）的结构后就知道什么是卷积了。

 首先常用的神经网络是完全连接的（fully connected），而CNN 不是。CNN作为神经网络，可以看做有两层，一个卷积层加一个可选的子采样层(subsampling or pooling)。如图1所示。

              图 1 卷积神经网络示例                                                            图2  CNN中一个节点相当于一个特征检测器

可以检测输入中3个输入点的特征

可以看出，卷积神经网络最大的特点在于卷积层每个节点只和输入层的部分节点有边。这个图有很多地方需要说明。首先，对于CNN，卷积层的每一个节点相当于一个特征检测器，如图二所示。将这个特征检测器滑过输入，就得到了图

1中的中间层特征。注意在图2中，特征检测器是CNN的一个节点，因为权值W的存在，使得它具有检测特征的能力。而图1中的卷积层是图2中检测器的状态，也就是检测到的特征。特征检测器在滑过输入的时候，权值W是不变的，也就是对

输入的每个区域，检测的是相同的特征。区别在于特征在输入中的位置不一样，这也是CNN可以抓住输入的空间信息(spacial information)的原因。由于W是不变的，所以CNN有权值共享的特点。又因为卷积层的节点每次只和输入层中部分节点

有边，所以可以有效降低W的大小，降低模型的复杂度。

对于每个特征检测器，在CNN中也叫卷积核(kernel)，每个核都有一个权值矩阵W。每个卷积核检测特定的特征，当它滑过输入时，便得到输入的每一部分是否有这个特征。所有部分的这个特征状态组成一个特征图谱(feature map)，也就是图1的卷积

层。比如我们有一个卷积核，可以检测输入图片中是否有叶子(这是一个特征)，那么特征图谱就是输入图片的每个区域是否有叶子的向量。

对得到的特征图谱，可以继续压缩，也就是子采样层。这层通用的做法是将特征图谱划分为自己区域，每个区域采样一个特征值，典型的有均值(mean)采样和最大值(max)采样.

由以上可以看出，每个卷积核可以检测一个特征，如果我们想检测输入中的多个特征，就需要有多个卷积核。于是每个卷积核都可以有一个特征图谱，对应不同的特征。

1.3 CNN的实现

       卷积的实现比较简单，对每个输入，用每个卷积核计算特征图谱就是。关键在于用GPU并行实现。

2. CNN的训练

       CNN也是神经网络的一种，神经网络都是用基与梯度的方法训练的。CNN也可以如此训练，有两点需要注意。一是子采样层的处理，子采样后导致部分节点值丢失，训练的时候有一个逆操作的过程。另一个是对于输入层，如图1所示，输入边缘的点和

中间的点，连接的边是不同的。

3.CNN的应用 

     CNN在很多地方都有应用，多个CNN还可以组成深度CNN。CNN的效果比一般的神经网络要好一些。

4. 参考文献

1.Bouvrie, Jake. "Notes on convolutional neural networks." (2006).

2.LeCun, Yann, et al. "Gradient-based learning applied to document recognition."Proceedings of the IEEE 86.11 (1998): 2278-2324.

3.Krizhevsky, Alex, Ilya Sutskever, and Geoff Hinton. "Imagenet classification with deep convolutional neural networks." Advances in Neural Information Processing Systems 25. 2012.