4、反向传播网络架构与学习方法解析

反向传播网络架构与学习方法解析

1. 感知机模型

1.1 感知机解决线性不可分问题的初始尝试

最初，为了解决线性不可分问题，人们尝试使用多个感知机。每个感知机负责识别输入的小线性可分部分，然后将它们的输出组合到另一个感知机中，以得出输入所属类别的最终指示。以异或（XOR）问题为例，虽然看起来图 3.1 所示的感知机组合方式可以解决该问题，但实际上这种分层排列的感知机无法学习。

1.2 感知机无法学习的原因

在这种结构中，每个神经元对输入进行加权求和、阈值处理，然后输出 0 或 1。第一层感知机的输入来自问题的实际输入，而第二层感知机的输入是第一层的输出。第二层感知机无法知道第一层的哪些实际输入是开启或关闭的。实际输入被中间层有效地从输出单元屏蔽掉，神经元的开或关两种状态无法为我们提供调整权重的尺度信息。硬阈值函数去除了网络成功学习所需的信息，导致网络无法确定哪些输入权重应该增加，哪些不应该，从而无法在下次产生更好的解决方案。

1.3 解决方法

为了解决这个问题，我们可以对阈值函数进行平滑处理，使其在中间有一个倾斜区域，这样可以提供一些关于输入的信息，从而使我们能够确定何时需要加强或削弱相关权重，让网络能够按需学习。表 3.1 给出了一些新阈值函数的可能性，其中一些函数在之前已经介绍过。即使在新的阈值函数下，当输入远超过阈值时，输出值实际上接近 1；当输入远小于阈值时，输出值实际上接近 0。但当输入和阈值几乎相同时，神经元的输出值将介于 0 和 1 之间，这意味着神经元的输出与输入之间的关系更加有信息价值。

2. 人工神经元模型

人工神经元是为了模拟生物神经元的特征和