28、深度神经网络训练全解析：从梯度问题到优化策略

深度神经网络训练全解析：从梯度问题到优化策略

深度神经网络训练难题概述

在处理复杂问题时，如高分辨率图像中检测数百种物体，往往需要训练更深的深度神经网络（DNN），可能包含10层或更多层，每层有数百个神经元和数十万个连接。然而，这并非易事，会面临诸多挑战：
1. 梯度消失/爆炸问题 ：影响深层神经网络，使底层难以训练。
2. 数据不足 ：可能没有足够的训练数据，或者标注成本过高。
3. 训练缓慢 ：训练过程可能极其耗时。
4. 过拟合风险 ：拥有数百万参数的模型很容易过拟合训练集，特别是在训练实例不足或数据噪声较大的情况下。

梯度消失/爆炸问题解析

问题表现

反向传播算法从输出层向输入层传播误差梯度，然后使用这些梯度通过梯度下降更新网络参数。但在实际中，梯度往往在传播到较低层时变得越来越小，导致底层连接权重几乎不变，训练无法收敛到良好的解决方案，这就是梯度消失问题。相反，梯度也可能变得越来越大，使许多层的权重更新过大，导致算法发散，即梯度爆炸问题，这种情况在循环神经网络中较为常见。

问题根源

早期人们发现深度神经网络存在不稳定梯度的问题，直到2010年才取得重大进展。研究发现，流行的逻辑sigmoid激活函数与当时常用的权重初始化技术（使用均值为0、标准差为1的正态分布进行随机初始化）的组合是问题的根源之一。在这种激活函数和初始化方案下，每一层输出的方差远大于输入的方差，随着网络的前向传播，方差不断增加，直到顶层激活函数