3、多层神经网络与反向传播算法详解

多层神经网络与反向传播算法详解

1. 引言

在神经网络领域，Rosenblatt 感知器作为一种基础的单一层神经网络，在处理线性可分模式分类问题时发挥了重要作用。然而，它存在一定的局限性，仅能对线性可分的模式进行分类。为了克服这一实际限制，多层感知器应运而生。本文将详细介绍多层感知器的基本特征、通用逼近理论以及反向传播训练算法。

2. 多层感知器的基本特征

多层感知器具有以下基本特征：
- 每个神经元模型包含一个可微的非线性激活函数，可微性是激活函数必须满足的关键条件，这使得网络能够学习复杂的非线性映射。
- 网络包含一个或多个隐藏层，这些隐藏层对于输入和输出模式都是不可见的，它们增加了网络的复杂度和表达能力。
- 网络具有高度的连接性，连接程度由网络的突触权重决定，这些权重在训练过程中不断调整以优化网络性能。

多层感知器的架构图展示了其具有两个隐藏层和一个输出层的结构，这种结构能够处理更复杂的问题。

3. 通用逼近理论

多层感知器经过反向传播算法训练后，可作为一种实用的方法来执行一般性质的非线性输入 - 输出映射。假设多层感知器有 (n_0) 个输入（源）节点，输出层有 (N = n_l) 个神经元，那么网络的输入 - 输出关系定义了一个从 (n_0) 维欧几里得输入空间到 (N) 维欧几里得输出空间的映射。当激活函数连续可微时，该映射是无限连续可微的。

通用逼近定理表明，对于任意连续函数 (f) 和给定的误差 (\epsilon > 0)，存在一个整数 (n_1) 以及实数常数 (\mu_i)、(b_i) 和 (w_{ij})，使得可以定义一个函数 (F