从神经网络到卷积神经网络的了解

date: 2016-09-14 11:02

老师提供的阅读材，上周就应该看完，但还是没看，这周需要看完然后看两篇FNN的论文并做一个report。 提供的材料是CS231n
PS:才发现有翻译，真真好人，我真真浪费时间t-T
PPS：再也不干像一句一句翻译这么笨蛋的方法了。学习还是理解为主。以下仅为总结摘抄的笔记。仅供自己学习与回忆。

神经网络

神经网络是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型用于对函数进行估计或近似。

如何简单形象又有趣地讲解神经网络是什么？

神经元就是当h大于0时输出1，h小于0时输出0这么一个模型，它的实质就是把特征空间一切两半，认为两半分别属两个类。

多层神经网络中底层神经元的输出是高层神经元的输入。神经网络神奇的地方在于它的每一个组件非常简单——把空间切一刀+某种激活函数(0-1阶跃、sigmoid、max-pooling)，但是可以一层一层级联。输入向量连到许多神经元上，这些神经元的输出又连到一堆神经元上，这一过程可以重复很多次。

神经网络的训练依靠反向传播算法：最开始输入层输入特征向量，网络层层计算获得输出，输出层发现输出和正确的类号不一样，这时它就让最后一层神经元进行参数调整，最后一层神经元不仅自己调整参数，还会勒令连接它的倒数第二层神经元调整，层层往回退着调整。经过调整的网络会在样本上继续测试，如果输出还是老分错，继续来一轮回退调整，直到网络输出满意为止。

以下内容来自

• 神经网络：文艺女vs理工男
• 卷积神经网络
• 神经网络浅讲：从神经元到深度学习(必看！写的超级好)
• 神经网络学习之M-P模型
• 卷积神经网络(CNN)学习笔记1：基础入门
• Deep Learning（深度学习）学习笔记整理系列之（七）

神经网络和数学模型MP

1943年，心理学家McCulloch和数学家Pitts参考了生物神经元的结构，发表了抽象的神经元模型MP。

MP模型是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。

生物神经网络的假定特点：

1. 每个神经元都是一个多输入单输出的信息处理单元；
2. 神经元输入分兴奋性输入和抑制性输入两种类型；
3. 神经元具有空间整合特性和阈值特性；
4. 神经元输入与输出间有固定的时滞，主要取决于突触延搁

按照生物神经元，建立M-P模型。神经元可以表示如下：

结构图里的关键不是圆圈（代表“神经元”），而是连接线（代表“神经元”之间的连接）。每个连接线对应一个不同的权重（其值称为权值），这是需要训练得到的。在神经元模型里，每个有向箭头表示的是值的加权传递。我们使用a来表示输入，用w来表示权值。一个表示连接的有向箭头可以这样理解：在初端，传递的信号大小仍然是a，端中间有加权参数w，经过这个加权后的信号会变成a*w，因此在连接的末端，信号的大小就变成了a*w。

将神经元图中的所有变量用符号表示，那么对应的公式为

但只输出0和1，不可微，不利于数学分析，实际过程中使用sgn函数(即函数f)等。

1943年发布的MP模型，虽然简单，但已经建立了神经网络大厦的地基。但是，MP模型中，权重的值都是预先设置的，因此不能学习。

感知器

1958年，计算科学家Rosenblatt提出了由两层神经元组成的神经网络。他给它起了一个名字–“感知器”（Perceptron）。

在原来MP模型的“输入”位置添加神经元节点，标志其为“输入单元”。其余不变。

在“感知器”中，有两个层次。分别是输入层和输出层。输入层里的“输入单元”只负责传输数据，不做计算。输出层里的“输出单元”则需要对前面一层的输