13、多层网络反向传播算法及其优化策略

多层网络反向传播算法及其优化策略

反向传播算法流程

反向传播是训练多层神经网络的常用方法，以下是其具体步骤：
1. 初始化权重 ：将网络中的所有权重初始化为小的随机值。
2. 输入模式 ：选择一个模式 $\xi^{\mu}$ 并应用到输入层（$m = 0$），使得 $V_{i}^{(0)} = \xi_{i}^{\mu}$ 对所有的 $i$ 成立。
3. 前向传播 ：使用公式 $V_{i}^{(m)} = g(h_{i}^{(m)}) = g(\sum_{j} w_{ij}^{(m)}V_{j}^{(m - 1)})$ 对每个 $i$ 和 $m$ 进行信号的前向传播，直到计算出所有的最终输出 $V_{i}^{(M)}$。
4. 计算输出层误差 ：通过比较实际输出和期望输出，使用公式 $\delta_{i}^{(M)} = g’(h_{i}^{(M)})[t_{i}^{\mu} - V_{i}^{(M)}]$ 计算输出层的误差 $\delta_{i}^{(M)}$。
5. 反向传播误差 ：使用公式 $\delta_{i}^{(m)} = g’(h_{i}^{(m)})\sum_{j} w_{ji}^{(m + 1)}\delta_{j}^{(m + 1)}$ 对 $m = M, M - 1, \cdots, 2$ 进行误差的反向传播，直到计算出每个单元的误差。
6. 更新权重 ：使用公式 $\Delta w_{ij}^{(m)} = \e