Gluon教程：深度学习中的学习率调度策略详解

Gluon教程：深度学习中的学习率调度策略详解

d2l-zh 项目地址: https://gitcode.com/gh_mirrors/d2l/d2l-zh

引言

在深度学习模型训练过程中，学习率（Learning Rate）是最关键的超参数之一。学习率决定了模型参数在每次迭代中更新的幅度，直接影响着模型的收敛速度和最终性能。本文将深入探讨Gluon框架中学习率调度的各种策略，帮助读者掌握如何有效管理学习率以优化模型训练。

学习率的重要性

学习率在模型训练中扮演着至关重要的角色：

1. 学习率大小：过大的学习率会导致优化过程发散，而过小的学习率则会使训练过程缓慢甚至陷入局部最优解。

2. 衰减速率：学习率的衰减方式同样重要。过快的衰减可能导致模型无法收敛到最优解，而过慢的衰减则可能使模型在最优解附近震荡。

3. 初始化策略：学习率的初始值以及"预热"（warmup）策略对训练初期阶段的影响显著。

实验设置

为了演示不同学习率调度策略的效果，我们使用改进版的LeNet网络在Fashion-MNIST数据集上进行实验。网络结构如下：

net = nn.HybridSequential()
net.add(nn.Conv2D(channels=6, kernel_size=5, padding=2, activation='relu'),
        nn.MaxPool2D(pool_size=2, strides=2),
        nn.Conv2D(channels=16, kernel_size=5, activation='relu'),
        nn.MaxPool2D(pool_size=2, strides=2),
        nn.Dense(120, activation='relu'),
        nn.Dense(84, activation='relu'),
        nn.Dense(10))

固定学习率的局限性

使用固定学习率(如0.3)训练30个epoch后，我们观察到：

• 训练准确率持续上升
• 测试准确率在达到某一点后停滞不前
• 训练与测试准确率之间的差距表明模型出现了过拟合

这表明固定学习率策略存在明显不足，需要更智能的学习率调整方法。

学习率调度器基础

Gluon提供了灵活的学习率调度机制。最简单的调度方式是手动调整：

trainer.set_learning_rate(0.1)  # 将学习率设置为0.1

然而，更常见的做法是使用自动调度策略。我们首先实现一个平方根衰减调度器：

class SquareRootScheduler:
    def __init__(self, lr=0.1):
        self.lr = lr

    def __call__(self, num_update):
        return self.lr * pow(num_update + 1.0, -0.5)

这种调度器使学习率随着训练步数增加而逐渐降低，相比固定学习率能获得更好的训练效果和泛化能力。

常见学习率调度策略

1. 因子调度器(Factor Scheduler)

因子调度器按固定比例衰减学习率：

class FactorScheduler:
    def __init__(self, factor=1, stop_factor_lr=1e-7, base_lr=0.1):
        self.factor = factor
        self.stop_factor_lr = stop_factor_lr
        self.base_lr = base_lr

    def __call__(self, num_update):
        self.base_lr = max(self.stop_factor_lr, self.base_lr * self.factor)
        return self.base_lr

2. 多因子调度器(Multi Factor Scheduler)

在预设的时间点将学习率乘以衰减因子：

scheduler = lr_scheduler.MultiFactorScheduler(step=[15, 30], factor=0.5,
                                             base_lr=0.5)

这种策略适用于当优化过程达到平稳状态时，通过降低学习率来寻找更优解。

3. 余弦调度器(Cosine Scheduler)

余弦调度器提供了一种平滑的学习率衰减曲线：

scheduler = lr_scheduler.CosineScheduler(max_update=20, base_lr=0.3,
                                        final_lr=0.01)

其数学表达式为： η_t = η_T + (η_0 - η_T)/2 * (1 + cos(πt/T))

这种调度器在训练初期缓慢降低学习率，在后期使用较小的学习率精细调整。

实践建议

1. 学习率预热：训练初期使用较小的学习率，逐步增加到初始值，有助于稳定训练。

2. 周期性调整：考虑使用周期性学习率策略，帮助模型跳出局部最优。

3. 监控验证集：根据验证集表现动态调整学习率策略。

4. 结合其他优化技术：将学习率调度与动量、权重衰减等技术结合使用。

总结

学习率调度是深度学习模型训练中的关键环节。Gluon框架提供了丰富的内置调度器，同时也支持自定义调度策略。通过合理选择和学习率调度方法，可以显著提高模型训练效率和最终性能。在实践中，建议尝试不同策略并结合具体问题和数据集特性来选择最佳方案。

d2l-zh 项目地址: https://gitcode.com/gh_mirrors/d2l/d2l-zh