DeepSpeed Learning Rate Range Test(LRRT)实战指南:用学习率范围测试定位大 Batch 训练的可用学习率上界

DeepSpeed Learning Rate Range Test(LRRT)实战指南:用学习率范围测试定位大 Batch 训练的可用学习率上界

【免费下载链接】DeepSpeed DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective. 【免费下载链接】DeepSpeed 项目地址: https://gitcode.com/GitHub_Trending/de/DeepSpeed

学习率范围测试(Learning Rate Range Test,LRRT)是一种用于探测"在不导致训练发散的前提下,模型所能承受的最大学习率"的系统化方法,在调大 Batch Size、配置 Cyclical/1Cycle 学习率调度时尤其有用。DeepSpeed 将 LRRT 内建为一种 PyTorch 学习率调度器(scheduler),本文以官方教程 docs/_tutorials/lrrt.md 为主线,结合 deepspeed/runtime/lr_schedules.py 的实现与 tests/unit/runtime/test_lr_schedulers.py 的测试用例,讲透四个 LRRT 参数的含义、JSON 与命令行两种配置方式、底层线性放大公式,并完整复现一个"用 LRRT 为大 Batch 训练调出 1Cycle 上下界"的实战案例。读完本文,你将能够在自己基于 DeepSpeed 的 PyTorch 训练脚本中快速完成一次学习率范围扫描,并为大规模数据并行训练配置出可收敛的高效学习率策略。

LRRT 是什么:为发现"可用最大学习率"而设计

在深度学习训练中,学习率是影响收敛速度与最终精度的关键超参数。大的学习率通常意味着更快的模型收敛速度,因此数据科学家往往希望尽快把学习率推到"能用的最大值"。然而学习率过大又会导致训练发散(divergence),二者之间存在一个临界边界。

LRRT(Learning Rate Range Test)正是为发现这一边界而设计的探索性方法:它不追求在一次训练中全程使用固定学习率,而是让学习率在一个预先设定的起点上按固定步长线性放大,通过观察损失曲线的走向来判断模型在哪一档学习率附近开始失效,从而:

  • 在不做全量训练的前提下快速摸清该模型/该 Batch Size 下可用的学习率上界;
  • 为上界学习率明显受益的 Cyclical Learning Rate(CLR)与 1Cycle 这类循环调度提供可靠的 min_lr / max_lr 取值依据;
  • 支撑把训练从较小 Batch Size 扩展到更大 Batch Size 时的超参数迁移。

DeepSpeed 把 LRRT 实现为一等公民的学习率调度器。从源码看,LRRangeTest 与 OneCycle、WarmupLR、WarmupDecayLR、WarmupCosineLR 共同组成 DeepSpeed 内置的合法调度器列表 VALID_LR_SCHEDULES(见 deepspeed/runtime/lr_schedules.py#L18-L24)。由于 PyTorch 从 1.0.1 起就提供 LR Scheduler 机制,DeepSpeed 对 PyTorch 模型的 LRRT 实现完全兼容标准的 torch.optim.lr_scheduler 用法。

使用 LRRT 的前置条件

要使用 DeepSpeed 的 LRRT,需要满足两个条件:

  1. 按照 Getting Started 教程,把 DeepSpeed 集成进你的 PyTorch 训练脚本(构造 deepspeed.initialize 并传入 model、optimizer、训练超参等);
  2. 在 DeepSpeed 模型的 JSON 配置(即传给 deepspeed.initialize 的 ds_config)中加入 "scheduler" 一节,并在其中配置下文的 LRRT 参数。

LRRT 本质上是一种学习率调度:它定义了"学习率在训练过程中如何、何时发生变化"。因此它不替换优化器,而是在优化器之上以调度器的形式叠加生效。

LRRT 核心参数说明

LRRT 的工作方式是:以一个初始学习率出发,每隔若干个训练步,按预定的放大因子把学习率乘性抬高一档。官方教程给出了 4 个必需参数:

参数含义类型
lr_range_test_min_lr训练的起始学习率,即范围测试的下边界float
lr_range_test_step_size学习率放大一档的时间间隔,单位为训练步integer
lr_range_test_step_rate每次放大学习率的比例因子float
lr_range_test_staircase是否采用阶梯式放大:为 true 时每 lr_range_test_step_size 步才变更一次学习率;为 false 时(默认)每一步都连续变化boolean

需要说明的是,lr_range_test_staircase 控制的是放大函数的"离散程度"(详见下一节公式),它并不影响"step_size 是步进间隔"这一整体语义。

源码中的默认值与参数校验

在 deepspeed/runtime/lr_schedules.py#L352-L358 的 LRRangeTest.__init__ 中,四个参数的默认值分别为:

  • lr_range_test_min_lr = 1e-3
  • lr_range_test_step_size = 2000
  • lr_range_test_step_rate = 1.0
  • lr_range_test_staircase = False

lr_range_test_min_lr 除标量外,还支持传入 list/tuple,其长度必须与优化器的 param_groups 数量一致,从而可以为不同参数组分别指定起点学习率(deepspeed/runtime/lr_schedules.py#L362-L368);传入标量时则自动广播到每个参数组。lr_range_test_step_size 必须为正整数,否则构造函数会抛出 ValueError(deepspeed/runtime/lr_schedules.py#L370-L371),对应的测试见 tests/unit/runtime/test_lr_schedulers.py#L772-L780。

在模型配置中启用 LRRT(PyTorch)

对于 PyTorch 模型,在 DeepSpeed JSON 配置中加入 "scheduler" 条目即可。条目包含 "type"(调度器类型,写死为 "LRRangeTest")和 "params"(即上面四个参数)。以下是一个完整的最小示例,它对应这样一个 LRRT 调度:从 0.0001 起步、每次放大 5 倍、每 200 个训练步为一档、但每一步连续变化(不开启 staircase):

"optimizer": {
    "type": "AdamW",
    "params": {
        "lr": 0.001
    }
},
"scheduler": {
    "type": "LRRangeTest",
    "params": {
        "lr_range_test_min_lr": 0.0001,
        "lr_range_test_step_size": 200,
        "lr_range_test_step_rate": 5,
        "lr_range_test_staircase": false
    }
}

这段配置最终会被解析进调度器实例:DeepSpeedConfig 在构造时读取 scheduler_name 与 scheduler_params(见 deepspeed/runtime/config.py#L481-L489 与 deepspeed/runtime/config.py#L858-L859),而 deepspeed/runtime/engine.py#L1669-L1684 的 _scheduler_from_config 会先在 deepspeed.runtime.lr_schedules 模块里按名称查找 LRRangeTest 类,命中后用 scheduler(optimizer, **scheduler_params) 完成实例化,并把结果挂到引擎的 lr_scheduler 上(deepspeed/runtime/engine.py#L1629-L1643)。也就是说,JSON 中的 params 与 LRRangeTest 构造函数签名是一一对应的。

LRRT 的底层原理:源码中的放大公式

要真正用好 LRRT,理解它是如何计算每一步的学习率很重要。在 deepspeed/runtime/lr_schedules.py#L382-L393 中,当前学习率被统一表示为:

lr = lr_range_test_min_lr * (1 + lr_range_test_step_rate * interval)

其中 interval 的取值由是否开启 staircase 决定:

  • 连续模式(staircase = False,默认):interval = (last_batch_iteration + 1) / step_size,即学习率从基线起每一步都连续地按比例增长;
  • 阶梯模式(staircase = True):interval = floor((last_batch_iteration + 1) / step_size),即学习率只在经过完整 step_size 步后跳变一档。

staircase 因此是在两种间隔计算函数(_continuous_interval / _staircase_interval)之间做选择,构造函数中以 self.interval_fn = self._staircase_interval if ... else self._continuous_interval 的形式把语义固化下来(deepspeed/runtime/lr_schedules.py#L376-L377)。注意这里公式的基线并不一定是 0:当 last_batch_iteration = 0、step_size = 200、step_rate = 5 时,第一步学习率即约为 min_lr * (1 + 5/200),而不是简单的 min_lr。这也是为什么官方示例中把起始 min_lr 选得比预期基线更低。

与 PyTorch Scheduler 的语义差异:按 batch 而非按 epoch step

LRRangeTest 的类文档特别强调:LRRT 在每个 batch 之后改变学习率,因此 step() 应当在每个 batch 训练完成后被调用,而不是按 epoch 调用(deepspeed/runtime/lr_schedules.py#L313-L346)。构造函数还接收 last_batch_iteration 参数(默认 -1),用于断点续训时恢复调度器进度:该值表示已经处理过的 batch 总数;为 -1 时调度器从起点开始并在构造时把各参数组学习率初始化为 min_lr。对应的 state_dict() / load_state_dict() 只保存这一个游标(deepspeed/runtime/lr_schedules.py#L407-L411),因此 LRRT 天然支持 checkpoint 的保存与恢复。

命令行方式配置 LRRT

除了 JSON,DeepSpeed 还允许通过命令行参数覆盖调度器配置。add_tuning_arguments 注册了 Convergence Tuning 参数组(deepspeed/runtime/lr_schedules.py#L61-L74),其中与 LRRT 相关的命令行参数及默认值如下:

命令行参数默认值说明
--lr_scheduleNone指定调度器类型,如 LRRangeTest
--lr_range_test_min_lr0.001起始学习率
--lr_range_test_step_rate1.0放大比例因子
--lr_range_test_step_size1000每档跨越的训练步数
--lr_range_test_staircaseFalse(store_true)是否阶梯式放大

在训练启动命令中可这样写:

deepspeed train.py \
  --deepspeed --deepspeed_config ds_config.json \
  --lr_schedule LRRangeTest \
  --lr_range_test_min_lr 0.0001 \
  --lr_range_test_step_size 200 \
  --lr_range_test_step_rate 5

在调度器真正被构造前,override_lr_range_test_params 会把解析出的命令行值写回调度器的 params 字典(deepspeed/runtime/lr_schedules.py#L133-L144),因此命令行与 JSON 两种来源是等价且可互相覆盖的。测试 tests/unit/runtime/test_lr_schedulers.py#L893-L902 验证了 --lr_range_test_staircase 这个 opt-in 标志会被正确搬运到调度器参数中,并最终决定选择阶梯还是连续间隔函数。

实战示例:用 LRRT 为大 Batch Size 调优

下面完整还原官方教程中一个真实的生产调优场景,它最能体现 LRRT 的实用价值。

背景:某内部生产模型从单 GPU(batch size 512)扩展到四 GPU(batch size 2048)。目标是用更大的 batch size、在相同的样本总量下训练,并匹配小 batch 的性能。众所周知,大 batch 训练收敛慢(大 batch 下通常需要更大的学习率才能等效前进)。作者的方案是借助 DeepSpeed 的 1Cycle 调度教程 来化解该问题,而 LRRT 被用来为该 1Cycle 调度器确定学习率边界。

在下图中,作者展示了 batch size 2048 下使用 LRRT 扫描学习率的实验结果。左图是前 9000 个 batch 内不同学习率策略对验证损失的影响;右图是同一时段内学习率本身的取值变化。经网格搜索(grid search)确定,batch size 2048 时最佳固定学习率为 0.0002(蓝线 lr=0.0002,固定学习率基线)。对比的两条 LRRT 曲线只有 lr_range_test_step_rate 不同:橙色线(lr_range_test_step_rate=5)与灰色线(lr_range_test_step_rate=50)均从同一基线出发,但灰线学习率增长速度约为橙线的 10 倍。下文分别称二者为"快增长"(fast growing)与"慢增长"(slow growing)LRRT 调度。图中数据点处,两条 LRRT 曲线的学习率均已超过蓝线。

LRRT 调优大 Batch 训练:左图为验证损失曲线,右图为对应学习率曲线,比较固定学习率与快/慢增长两种 LRRT 调度

从扫描结果得到的两个关键观察

观察一:在到达某一点之前,更大的学习率确实明显提升模型性能。 快增长 LRRT 调度在 3000 个 batch 时就把验证损失降到 0.46,而固定学习率在 9000 个 batch 内都没达到该水平;慢增长 LRRT 虽然直到 6000 个 batch 后才追平该分数,但它对固定学习率的性能优势是持续扩大的。

观察二:学习率存在有效上界,超出即发散。 快增长 LRRT 很快就撞上该边界并导致训练发散;慢增长 LRRT 因增长慢,会在更晚的阶段出于同样的原因发散。LRRT 的价值在于:它只用不到 2% 的训练数据,就高效地探明了这些边界。这些边界信息正是后续构造学习率调度(如 1Cycle 的 cycle_min_lr/cycle_max_lr)时最需要的先验。

依据 LRRT 结果配置 1Cycle 调度

基于上述扫描,作者为 1Cycle 调度配置了四个最关键的参数。把官方文档中给出的要点补全为可直接使用的完整 "scheduler" 配置块后如下:

"scheduler": {
    "type": "OneCycle",
    "params": {
        "cycle_min_lr": 0.002,
        "cycle_max_lr": 0.005,
        "cycle_first_step_size": 2000,
        "cycle_second_step_size": 2000,
        "cycle_first_stair_count": 1000,
        "cycle_second_stair_count": 1000,
        "decay_step_size": 2000,
        "cycle_min_mom": 0.85,
        "cycle_max_mom": 0.95,
        "decay_mom_rate": 0.0
    }
}

从源码看,1Cycle 调度器支持的参数还包括 cycle_first_stair_count、cycle_second_stair_count、decay_step_size、cycle_min_mom、cycle_max_mom、decay_mom_rate 等(常量定义见 deepspeed/runtime/lr_schedules.py#L34-L46),其中最核心的就是上面四个。作者对四个核心取值的决策依据如下:

  1. cycle_min_lr 取 0.002:采信慢增长 LRRT(lr_range_test_step_rate=5)的结果,因为它在扫描中取得了最好的损失,而快增长调度很快发散,不适宜作为下界来源;
  2. cycle_max_lr 取 0.005 而非更高:虽然图中显示略高一点的学习率性能仍在改善,但作者观察到如果一直等到学习率冲到真正的最大值,模型可能已处于发散边缘、无法恢复,因此主动在上界前留出安全余量;
  3. cycle_first_step_size 与 cycle_second_step_size 都取 2000:根据 LRRT 扫描曲线,学习率需要约 8000 个 batch 才涨到 0.005;而在四 GPU 配置下,4 个 GPU 处理完 8000 个 batch 恰好对应 2000 个训练步,因此把单/双臂长度都设为 2000,保证一个完整的 1Cycle 周期覆盖从下界到上界再回落的核心过程。

这个"先用 LRRT 扫描边界、再把边界喂给 1Cycle"的两步法,就是 DeepSpeed 官方推荐的大 Batch 调优路径,也是 LRRT 最典型的落地姿势。

用单元测试验证 LRRT 的数值行为

DeepSpeed 的 LRRT 实现有完备的单元测试覆盖,可作为你理解其行为的"活文档":

使用建议与注意事项

  1. 不要用 LRRT 直接训练到收敛:LRRT 的定位是"扫一档就走"的诊断工具。由于学习率持续增长,训练必然在某个点发散,官方经验是用其扫描完边界后立即改用固定学习率、1Cycle 或 CLR 调度完成正式训练。
  2. 按 batch 调用 step():如果你的训练循环以 epoch 为单位调用 scheduler 的 step(),学习率的增长节奏会与设计意图完全不符,务必在每个 batch 后 step(DeepSpeed 引擎本身也会遵循这一约定)。
  3. 注意 min_lr 与基线的关系:由于增长公式为 min_lr * (1 + step_rate * interval),学习率从第一档起就会略高于 min_lr,选初始值时应参考 step_rate 与 step_size 的相对大小。
  4. staircase 的取舍:想让学习率以"平台-跳变"的离散方式爬升、便于观察每个档位对应的损失水平时开启;想更平滑地逼近边界时保持默认关闭。
  5. 与分布式/大规模训练结合:LRRT 的扫描开销很小(官方案例只消耗不到 2% 的训练数据),尤其适合在数据并行扩展 batch size 后先做一次低成本扫描,再据此配置 1Cycle 或 CLR 式调度,从而绕开大 batch 训练收敛慢这一经典难题。调度器整体配置的更多字段说明可进一步参考 config-json 文档。

只要遵循"先扫描、后建模"的思路,LRRT 能让你在极低的训练预算下掌握模型学习率的"安全操作区间",无论是调大 batch size、改造学习率调度还是日常换模型换数据,都能快速拿到可靠的起点。

【免费下载链接】DeepSpeed DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective. 【免费下载链接】DeepSpeed 项目地址: https://gitcode.com/GitHub_Trending/de/DeepSpeed

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值