【机器学习-西瓜书】第5章 神经网络

5.1 神经元模型

定义：

神经网络是由具有适应性的简单单元组成的、广泛并行互连的网络，其组织能够模拟神武神经系统对真实世界物体所做出的交互反应。这里的简单单元指 神经元neuron。

在神经网络中，每个神经元与其他神经元相连，当超过一个”阈值 (threshold)“，该神经元将被激活，产生神经元输出。

沿用至今的M-P神经元模型

5.2 感知机与多层网络

感知机 (perceptron)由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元。如下图：

 感知机学习规则如下：

对于训练样例 (x, y)，若当前感知机输出为， 则按照如下规则调整权重：

 为学习率（learning rate）。

感知机只有输出层使用激活函数处理，学习能力有限。通常线性可分linearly separable问题，即存在一个线性超平面可将数据分开，一般可使用感知机算法。

言解决非线性可分问题，需使用多层感知机：

每层神经元与下一层神经元全连接，神经元之间不存在同层内链接，也没有跨层连接，这样的神经网络通常称为”多层前馈神经网络” (multi-layer feedforward neural networks)。比如将下图(b)增加为多层：

 

5.3 反向传播算法 (BP)

通常说的 “BP网络”指：用BP算法训练的multi-layer feedforward neural network。BP算法基于梯度下降策略，以目标的负梯度方向对参数进行更新。