34、神经网络反向传播算法详解

神经网络反向传播算法详解

1. 反向传播算法基础

在神经网络中，我们已经知道如何调整进入输出层的边的权重，但对于其他层的权重该如何调整呢？这就引出了反向传播算法的核心：利用某一层的神经元误差（delta）来计算其前一层神经元的误差。

假设在一个简单模型中，输出层有神经元 C 和 D，它们不相互依赖，但依赖前一层神经元的输出。现在我们关注前一层的隐藏层，包含神经元 A 和 B。我们先聚焦于神经元 A 及其与神经元 C 的连接。

若神经元 A 的输出 Ao 因某种原因发生变化，比如增加了 Am。通过一系列计算，我们发现由于 A 的输出变化 Am 导致的误差变化为 Am × AC × Cδ，其中 AC 是 A 到 C 的连接权重，Cδ 是神经元 C 的误差。由此我们得到神经元 A 的误差 Aδ = AC × Cδ。

然而，这只是 Aδ 的一部分。因为神经元 D 也使用 A 的输出，所以当 Ao 变化时，D 的输出也会改变，进而影响误差。通过类似的分析，由于 D 导致的误差变化为 AD × Dδ。最终，神经元 A 的完整误差为 Aδ = (AC × Cδ) + (AD × Dδ)。

我们可以用左右箭头来形象地表示输出和误差，以及权重的作用。当箭头向右时，权重乘以输出；当箭头向左时，权重乘以误差。例如，在神经元 A 和 C 的连接中，若箭头指向右，权重 AC 乘以 A 的输出 Ao；若箭头指向左，权重 AC 乘以 C 的误差 Cδ。

总结来说，对于任意神经元 H，计算其输出 Ho 时，我们将前一层每个神经元的输出乘以连接权重并相加；计算其误差 Hδ 时，我们将后一层每个神经元的误差乘以连接权重并相加。这一过程具有很好的对称性，且计