13、深度学习中的饱和神经元与梯度消失问题及解决策略

深度学习中的饱和神经元与梯度消失问题及解决策略

在深度学习的实践中，训练示例的选取是基础工作。值得一提的是，使用TensorFlow实现数字分类应用十分简单，借助该框架，我们能在控制代码规模的同时研究更高级的技术。接下来，我们将深入探讨一些使深度网络能够有效学习的技术，这些技术对于后续开展深度学习实验至关重要。

饱和神经元与梯度消失问题

在实验过程中，我们对学习率参数和权重初始化范围进行了看似随意的调整。例如，在感知机学习和异或网络示例中，学习率设为0.1；而在数字分类任务中，学习率则为0.01。对于权重初始化范围，异或示例使用 -1.0 到 +1.0，数字分类示例使用 -0.1 到 +0.1。其实，这样做的原因是在未进行这些调整时，网络的学习效果不佳。

为了理解为何有时让网络有效学习颇具挑战，我们需要详细研究激活函数。以tanh和逻辑sigmoid这两个S形函数为例，它们在特定的z区间外近乎水平直线。在学习过程中，我们通过计算误差函数的导数来确定权重的调整方向和幅度。当输入z值处于图表所示的小范围内时，对输入的微小调整会改变输出；但当z值为较大的正数或负数时，输入的变化几乎不会影响输出，此时神经元处于饱和状态。

饱和神经元会导致学习完全停止。在使用反向传播算法计算梯度时，我们需要将损失函数的导数与激活函数的导数相乘。当z值绝对值较大时，激活函数的导数为0，这意味着没有误差会反向传播，权重也不会得到调整。即使神经元未完全饱和，导数小于0，经过多层的连乘后，梯度也会趋近于0，这就是梯度消失问题。饱和神经元是梯度消失问题的一个重要原因，但并非唯一原因。

避免饱和神经元的初始化和归一化技术

为了预防或解决饱和神经元问题，常