33、小型神经网络中的反向传播算法详解

小型神经网络中的反向传播算法详解

1. 反向传播基础概念

反向传播的基本思想是，误差会为每个权重提供一个梯度，我们可以利用这个梯度对每个权重进行微调，从而降低整体误差。虽然其机制并非极其复杂，但涉及一些新的概念、名称和细节需要理清。

1.1 小型神经网络示例

为了理解反向传播，我们使用一个小型网络，将二维点分为两类，分别称为类别 1 和类别 2。即使这些点可以用一条直线分开，使用单个神经元就能完成分类，但我们还是使用一个小网络，以便观察通用原理。

以下是该网络的一些关键信息：
- 网络结构 ：包含四个神经元，如图所示。
- 权重命名 ：网络有八个权重，分别进行了命名。
- 神经元输出和 delta 值 ：为每个神经元的输出和 delta 值命名，例如神经元 A 和 B 的输出分别为 Ao 和 Bo，它们的 delta 值分别为 Aδ 和 Bδ。

1.2 神经元输出变化对误差的影响

当神经元输出发生变化时，会导致误差发生变化。我们用 Am 表示神经元 A 输出因变化量 m 而产生的变化，网络的最终误差为 E，误差的变化为 Em。当神经元 A 的输出有变化 Am 时，将该变化乘以 Aδ 就得到误差的变化 Em，即 Em = Am × Aδ。可以将 Aδ 的作用看作是对神经元 A 输出变化的缩放，从而得到相应的误差变化。

2. 输出神经元的 delta 值计算

反向传播的核心是为每个神经元找到 delta 值。我们从输出层开始计算。