35、深入理解神经网络中的反向传播算法

深入理解神经网络中的反向传播算法

1. 输入变化对网络输出的影响

在神经网络中，改变某一输入会影响网络的最终输出。例如，我们可以改变来自其他神经元的输入值。假设改变从任意其他神经元传入的值，其逻辑与图 14 - 3 类似，如图 14 - 4 所示。我们可以选择给来自神经元 A 或 C 的输入值加上 m，关键在于让神经元 D 的输出改变 m。由于只是将输出改变 m，所以通过乘以与图 14 - 3 中相同的 δ 值，就能得到最终误差的变化。

图 14 - 3 和图 14 - 4 表明，网络最终输出的变化既可以由任意神经元输出的改变来预测，也可以由网络中任意权重的改变来预测。我们可以利用与每个神经元相关的 δ 值，判断其每个输入权重应向正方向还是负方向微调。

2. 小型神经网络中的反向传播

2.1 网络结构与标记

为了理解反向传播，我们使用一个小型网络，将二维点分为两类，分别称为类别 1 和类别 2。图 14 - 5 展示了这个简单的神经网络，它有四个神经元，并且为其八个权重都进行了命名。为了简化，我们省略了神经元 C 和 D 之后通常的 softmax 步骤。

同时，我们需要标记每个神经元的输出和 δ 值。通过将神经元名称与我们要引用的值组合成两个字母的名称，例如，Ao 和 Bo 分别是神经元 A 和 B 的输出名称，Aδ 和 Bδ 是这两个神经元的 δ 值。图 14 - 6 展示了这些值与神经元的对应存储情况。

2.2 神经元输出变化对误差的影响

当神经元输出发生变化时，会导致误差改变。我们将神经元 A 输出因变化量 m 而产生的变化标记为 Am，网络的最终误差标记为 E