5、反向传播算法详解与字符识别案例实践

反向传播算法详解与字符识别案例实践

1. 反向传播算法基础

反向传播（Back Propagation）算法是一种用于训练神经网络的重要方法。在神经网络中，由于无法直接对隐藏层的误差进行偏导数计算，需要通过对输出方向上游的变量求偏导数，以此来更新隐藏层的权重。

1.1 算法计算流程

1. 应用训练向量 ：首先应用第一个训练向量。
2. 计算权重变化 ：
   • 对于输出层，根据公式 (6.17) 和 (6.19) 计算 $\Delta w_{kj}(p)$。
   • 对于隐藏层，从 $r = p - 1$ 开始，依次到 $r = 1$，根据公式 (6.27) 计算 $\Delta w_{ji}(r)$，并使用公式 (6.26) 基于上游层的 $\Phi_j(r + 1)$ 更新 $\Phi_j(r)$。
3. 更新权重 ：通过公式 (6.3)，使用 $w(m)$ 和 $\Delta w(m)$ 更新 $w(m + 1)$。
4. 重复过程 ：对每个训练向量重复上述步骤，直到遍历完所有 $L$ 个训练向量。然后对 $(m + 2)$、$(m + 3)$ 等迭代重复整个过程，直到达到足够的收敛。

1.2 学习率调整

学习率 $\eta$ 应逐步调整。在误差变得非常小时，建议将 $\eta$ 恢复到初始值。初始化权重 $w_{ji}(0)$ 时