37、神经网络反向传播与学习率优化

神经网络反向传播与学习率优化

1. 反向传播基础

反向传播是训练神经网络的核心过程。首先，我们为网络中的每个神经元分配一个 delta 值，这个值反映了权重值的变化与最终误差变化之间的关系，从而能确定如何改变每个权重以降低误差。

计算这些 delta 值是从最后一层反向传播到第一层的。由于计算每个神经元的 delta 所需的梯度信息是逐层向后传播的，因此得名反向传播。

反向传播可以在 GPU 上实现，在 GPU 上我们可以同时对许多神经元进行计算，大大提高了效率。

需要注意的是，反向传播传播的是误差的梯度，而不是误差本身。梯度信息告诉我们误差如何随权重的变化而变化，这有助于我们调整权重以改善网络的输出。

1.1 反向传播流程

graph LR
    A[评估样本] --> B[计算误差]
    B --> C{误差是否为零}
    C -- 否 --> D[用反向传播计算 deltas]
    D --> E[使用学习率更新权重]
    E --> F[处理下一个样本]
    C -- 是 --> F
    F --> G{是否完成一个 epoch}
    G -- 否 --> A
    G -- 是 --> H[结束一个 epoch]

2. 学习率的重要性

在训练神经网络时，学习率是一个关键的超参数，通常用小写希腊字母 η（eta）表示，取值范围在 0 到 1 之间。它控制着每次更新时权重的变化量。