神经网络与机器学习 笔记—多层感知器（MLP）

多层感知器（MLP）

    Rosenblatt感知器和LMS算法，都是单层的并且是单个神经元构造的神经网络，他们的局限性是只能解决线性可分问题，例如Rosenblatt感知器一直没办法处理简单异或问题。然而日常生活中大多数问题不是线性可分的，都是多维度且无法直接进行线性分类。为了增加神经网络对这一类问题的泛化能力，出现了多层感知器（多层神经网络）的概念。

多层感知器基本特征：

    网络中每个神经元模型包含一个可微的非线性激活函数。

    网络中包括一个或多个隐藏在输入和输出神经节点之间的层。

    网络展示出高度的连接性，其强度是由网络的突触权值决定的。

 

训练多层感知器的一个流行方法是反向传播算法，训练分为如下两个阶段：

1. 前向阶段，网络的突触权值是固定的，输入信号在网络中一层一层传播，直到到达输出端。因此，在这一阶段，输入信号的影响限制在网络中激活隐藏神经元和输出神经元上。
2. 反向阶段，通过比较网络的输出和期望输出产生一个误差信号。得到的误差信号再次通过网络一层一层传播，但是这一次传播是在反方向上进行的。在第二阶段，对于网络的突触权值进行不断的修正。对于输出层权值的修正计算是直接的，但是对于隐藏层来说则更有挑战性