Deep Learning学习笔记（一）:卷积神经网络（CNN）

       Deep Learning 在形式表现上非常类似多层感知机，甚至可以说是多层感知机的一个发展，但是DL又在神经网络的结构上体现了划时代的思维方式。下面就来看一个具体的例子，DL非常著名的网络模型：卷积神经网络（CNN）。

       卷积神经网络是为识别二维形状而特殊设计的一个多层感知机，并且无论这个二维形状平移，缩放或者经过其他形式的变换，多层感知机都可以将这个二维形状进行识别。当然要完成这个艰巨的任务，除了需要结构合理以外，还需要合理的训练学习算法的支持。

神经网络结构的特点：

1、特征提取。每一个神经元从上一层与其相连的神经元得到突触输入，根据这些输入得到的输出即为上一层局部区域的特征。只要这个特征被提取出来，以及这个特征相对于其他特征的相对位置被记录，那这个特征的精确位置就没那么重要了。

2、特征映射。网络的每一个计算层都是由多个特征映射组成的，每个特征映射都是卷积形式，即通过一个卷积核来提取上一层的特征，这也可以说是卷积神经网络的得名原因。这个特点最大的优点就是自由参数缩减，这是由于卷积核其实就是神经网络的权值共享。

3、子抽样。每个卷基层后面会跟着一个实现局部平均和子抽样的计算层。这种操作就是为了使特征输出对于平移和其他形式的变形的敏感度降低。

卷积神经网络

        卷积网络的发展是由神经生物学激发的，但在这里并不从神经的角度对卷积神经网络进行分析，而是从图像处理的角度进行拆解。图像处理进行识别的一般过程是特征提取，随后根据提取的特征进行分类，而特征提取的算子一般都是一些卷积算子，这些卷积算子都是通过理论证明以及经验总结得来的；可以进行比较复杂的特征提取并且是大致固定的。但是卷积神经网络的卷积算子（也就是连接权值）都是通过学习训练而来的，也许并不能说出每一个算子提出的是哪种特征，但是这种特征往往非常适于图像的分类。下面介绍一个非常著名的卷积神经网络模型：

    上图表明一个输入层和四个隐藏层与一个输出层组成的卷积网络的体系结构布局。输入层由28X28个感知节点组成。

1、第一隐藏层进行卷积。它由四个特征映射组成，每个特征映射由24X24个神经元组成。每个神经元指定一个5X5的卷积核。

2、第二隐藏层实现子抽样和局部平均。它同样由四个特征映射组成，但其每个特征映射由12X12个神经元组成。每个神经元具有一个2X2的接受域，一个可训练系数，一个可训练偏置和一个sigmoid激活函数。在实际操作中上述两个隐藏层可以合并为一个隐藏层：即隔行进行5X5的卷积特征抽取再加上一个偏置以及sigmoid激活函数输出该层隐藏层。

3、第三隐藏层进行第二次卷积。它由12个特征映射组成，每个特征映射由8X8个神经元组成。

4、第四个隐藏层进行二次子抽样和局部平均，同理第三四隐藏层可以合并为一层进行。

5、第五层是将第四层得到的12个特征映射拉成一个向量，与输出层进行全连接。