34、多层感知器及其反向传播训练算法详解

多层感知器及其反向传播训练算法详解

1. 多层感知器简介

多层感知器（Multilayer perceptrons, MLPs）是最为人熟知且应用广泛的神经网络类型。它由图（21.2.1）所示类型的单元构成，每个单元对其输入进行加权求和，并加上一个常数项，然后将这个和通过一个非线性函数，这个非线性函数通常被称为激活函数。

大多数情况下，单元以前馈方式相互连接，即连接不会形成任何环路，如图（21.2.2）所示。不过，对于某些应用，也会使用循环（即非前馈）网络，其中部分连接会形成环路。

这些网络的训练通常是有监督的，需要一个训练集，其中包含输入模式和相应的期望输出模式（也称为目标模式）。训练通常基于最小化网络输出与期望输出之间的某种误差度量，这涉及到通过一个与待训练网络类似的网络进行反向传播，因此训练算法通常被称为反向传播算法。

2. 网络架构

2.1 前馈网络与循环网络

• 前馈网络 ：单元的连接不形成任何环路，单元常按层排列，但也可使用其他拓扑结构。例如，图 C1.2.5 展示了一种在某些应用中有用的网络类型，其中使用了输入和输出单元之间的直接链接；图 C1.2.6 展示了一个全连接的三单元前馈网络。
• 循环网络 ：存在一个或多个连接环路的网络，如图 C1.2.3 所示。

2.2 非线性函数

网络单元中的非线性函数可以是任何可微函数，最常用的非线性函数具有图（21.2.7）所示的一般形式，有两条水平渐近线，单调递增，且有一个曲率改变符号的点，这种曲线