深度学习系列（4）：梯度消失与梯度爆炸

最新推荐文章于 2025-09-04 18:16:18 发布

原创最新推荐文章于 2025-09-04 18:16:18 发布 · 788 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能

深度学习系列专栏收录该内容

14 篇文章

订阅专栏

部署运行你感兴趣的模型镜像

深度学习系列（4）：梯度消失与梯度爆炸

在上一期中，我们介绍了神经网络的前向传播和反向传播。然而，在深度神经网络的训练过程中，常常会遇到**梯度消失（Vanishing Gradient）和梯度爆炸（Exploding Gradient）**问题。本期博客将深入探讨这两个问题的成因及其解决方案。

1. 梯度消失与梯度爆炸的定义

梯度消失（Vanishing Gradient）

当网络层数较深时，反向传播中的梯度会在逐层传递时不断缩小，导致靠近输入层的权重更新趋近于零，网络无法有效学习。

梯度爆炸（Exploding Gradient）

相反，如果梯度在传播过程中不断累积放大，就会导致参数更新过大，使得训练过程不稳定，甚至出现**NaN（非数值）**错误。

2. 梯度消失与梯度爆炸的成因

梯度消失的原因

激活函数导致梯度衰减：如 Sigmoid 和 Tanh 函数的导数最大不超过 0.25，使得梯度在反向传播过程中逐层减小。
权重初始化不当：如果初始权重太小，前向传播时输出接近零，梯度在反向传播中不断缩小。
网络层数过深：导致梯度在长链条中被多次缩小。

梯度爆炸的原因

权重初始化过大：如果初始权重过大，前向传播时数据值不断放大，梯度在反向传播时指数级增长。
学习率过高：如果学习率太大，梯度更新的步长过大，导致权重剧烈波动，甚至发散。

3. 解决梯度消失与梯度爆炸的方法

（1）使用更合适的激活函数

ReLU（Rectified Linear Unit）：
[
f(x) = \max(0, x)
]
ReLU 及其变体（Leaky ReLU、Parametric ReLU）可以缓解梯度消失问题。
Batch Normalization（批量归一化）：
归一化输入数据的分布，使梯度更加稳定。

（2）优化权重初始化

Xavier 初始化（用于 Sigmoid/Tanh）：
[
W \sim U\left(-\frac{\sqrt{6}}{\sqrt{n_{in} + n_{out}}}, \frac{\sqrt{6}}{\sqrt{n_{in} + n_{out}}}\right)
]
He 初始化（用于 ReLU）：
[
W \sim \mathcal{N}\left(0, \frac{2}{n_{in}}\right)
]

（3）梯度裁剪（Gradient Clipping）

对于梯度爆炸，可以限制梯度的最大值。例如，使用 PyTorch 进行梯度裁剪：

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5)

（4）使用更先进的优化算法

如 Adam、RMSprop、AdaGrad，这些优化器会自适应调整学习率，减少梯度消失和爆炸的风险。

4. 代码示例：解决梯度消失

import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个使用 ReLU 和 He 初始化的神经网络
class NeuralNet(nn.Module):
    def __init__(self):
        super(NeuralNet, self).__init__()
        self.fc1 = nn.Linear(10, 50)
        self.fc2 = nn.Linear(50, 1)
        self.relu = nn.ReLU()

        # 采用 He 初始化
        nn.init.kaiming_normal_(self.fc1.weight)
        nn.init.kaiming_normal_(self.fc2.weight)

    def forward(self, x):
        x = self.relu(self.fc1(x))
        x = torch.sigmoid(self.fc2(x))
        return x

# 训练示例
model = NeuralNet()
optimizer = optim.Adam(model.parameters(), lr=0.01)
criterion = nn.BCELoss()

# 输入数据
x_data = torch.randn(100, 10)
y_data = torch.randint(0, 2, (100, 1)).float()

# 训练循环
for epoch in range(100):
    optimizer.zero_grad()
    output = model(x_data)
    loss = criterion(output, y_data)
    loss.backward()
    
    # 梯度裁剪
    torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=5)
    
    optimizer.step()
    
    if epoch % 10 == 0:
        print(f'Epoch [{epoch+1}/100], Loss: {loss.item():.4f}')