DeepSpeed Learning Rate Range Test(LRRT)实战指南:用学习率范围测试定位大 Batch 训练的可用学习率上界
学习率范围测试(Learning Rate Range Test,LRRT)是一种用于探测"在不导致训练发散的前提下,模型所能承受的最大学习率"的系统化方法,在调大 Batch Size、配置 Cyclical/1Cycle 学习率调度时尤其有用。DeepSpeed 将 LRRT 内建为一种 PyTorch 学习率调度器(scheduler),本文以官方教程 docs/_tutorials/lrrt.md 为主线,结合 deepspeed/runtime/lr_schedules.py 的实现与 tests/unit/runtime/test_lr_schedulers.py 的测试用例,讲透四个 LRRT 参数的含义、JSON 与命令行两种配置方式、底层线性放大公式,并完整复现一个"用 LRRT 为大 Batch 训练调出 1Cycle 上下界"的实战案例。读完本文,你将能够在自己基于 DeepSpeed 的 PyTorch 训练脚本中快速完成一次学习率范围扫描,并为大规模数据并行训练配置出可收敛的高效学习率策略。
LRRT 是什么:为发现"可用最大学习率"而设计
在深度学习训练中,学习率是影响收敛速度与最终精度的关键超参数。大的学习率通常意味着更快的模型收敛速度,因此数据科学家往往希望尽快把学习率推到"能用的最大值"。然而学习率过大又会导致训练发散(divergence),二者之间存在一个临界边界。
LRRT(Learning Rate Range Test)正是为发现这一边界而设计的探索性方法:它不追求在一次训练中全程使用固定学习率,而是让学习率在一个预先设定的起点上按固定步长线性放大,通过观察损失曲线的走向来判断模型在哪一档学习率附近开始失效,从而:
- 在不做全量训练的前提下快速摸清该模型/该 Batch Size 下可用的学习率上界;
- 为上界学习率明显受益的 Cyclical Learning Rate(CLR)与 1Cycle 这类循环调度提供可靠的
min_lr/max_lr取值依据; - 支撑把训练从较小 Batch Size 扩展到更大 Batch Size 时的超参数迁移。
DeepSpeed 把 LRRT 实现为一等公民的学习率调度器。从源码看,LRRangeTest 与 OneCycle、WarmupLR、WarmupDecayLR、WarmupCosineLR 共同组成 DeepSpeed 内置的合法调度器列表 VALID_LR_SCHEDULES(见 deepspeed/runtime/lr_schedules.py#L18-L24)。由于 PyTorch 从 1.0.1 起就提供 LR Scheduler 机制,DeepSpeed 对 PyTorch 模型的 LRRT 实现完全兼容标准的 torch.optim.lr_scheduler 用法。
使用 LRRT 的前置条件
要使用 DeepSpeed 的 LRRT,需要满足两个条件:
- 按照 Getting Started 教程,把 DeepSpeed 集成进你的 PyTorch 训练脚本(构造
deepspeed.initialize并传入 model、optimizer、训练超参等); - 在 DeepSpeed 模型的 JSON 配置(即传给
deepspeed.initialize的ds_config)中加入"scheduler"一节,并在其中配置下文的 LRRT 参数。
LRRT 本质上是一种学习率调度:它定义了"学习率在训练过程中如何、何时发生变化"。因此它不替换优化器,而是在优化器之上以调度器的形式叠加生效。
LRRT 核心参数说明
LRRT 的工作方式是:以一个初始学习率出发,每隔若干个训练步,按预定的放大因子把学习率乘性抬高一档。官方教程给出了 4 个必需参数:
| 参数 | 含义 | 类型 |
|---|---|---|
lr_range_test_min_lr | 训练的起始学习率,即范围测试的下边界 | float |
lr_range_test_step_size | 学习率放大一档的时间间隔,单位为训练步 | integer |
lr_range_test_step_rate | 每次放大学习率的比例因子 | float |
lr_range_test_staircase | 是否采用阶梯式放大:为 true 时每 lr_range_test_step_size 步才变更一次学习率;为 false 时(默认)每一步都连续变化 | boolean |
需要说明的是,lr_range_test_staircase 控制的是放大函数的"离散程度"(详见下一节公式),它并不影响"step_size 是步进间隔"这一整体语义。
源码中的默认值与参数校验
在 deepspeed/runtime/lr_schedules.py#L352-L358 的 LRRangeTest.__init__ 中,四个参数的默认值分别为:
lr_range_test_min_lr = 1e-3lr_range_test_step_size = 2000lr_range_test_step_rate = 1.0lr_range_test_staircase = False
lr_range_test_min_lr 除标量外,还支持传入 list/tuple,其长度必须与优化器的 param_groups 数量一致,从而可以为不同参数组分别指定起点学习率(deepspeed/runtime/lr_schedules.py#L362-L368);传入标量时则自动广播到每个参数组。lr_range_test_step_size 必须为正整数,否则构造函数会抛出 ValueError(deepspeed/runtime/lr_schedules.py#L370-L371),对应的测试见 tests/unit/runtime/test_lr_schedulers.py#L772-L780。
在模型配置中启用 LRRT(PyTorch)
对于 PyTorch 模型,在 DeepSpeed JSON 配置中加入 "scheduler" 条目即可。条目包含 "type"(调度器类型,写死为 "LRRangeTest")和 "params"(即上面四个参数)。以下是一个完整的最小示例,它对应这样一个 LRRT 调度:从 0.0001 起步、每次放大 5 倍、每 200 个训练步为一档、但每一步连续变化(不开启 staircase):
"optimizer": {
"type": "AdamW",
"params": {
"lr": 0.001
}
},
"scheduler": {
"type": "LRRangeTest",
"params": {
"lr_range_test_min_lr": 0.0001,
"lr_range_test_step_size": 200,
"lr_range_test_step_rate": 5,
"lr_range_test_staircase": false
}
}
这段配置最终会被解析进调度器实例:DeepSpeedConfig 在构造时读取 scheduler_name 与 scheduler_params(见 deepspeed/runtime/config.py#L481-L489 与 deepspeed/runtime/config.py#L858-L859),而 deepspeed/runtime/engine.py#L1669-L1684 的 _scheduler_from_config 会先在 deepspeed.runtime.lr_schedules 模块里按名称查找 LRRangeTest 类,命中后用 scheduler(optimizer, **scheduler_params) 完成实例化,并把结果挂到引擎的 lr_scheduler 上(deepspeed/runtime/engine.py#L1629-L1643)。也就是说,JSON 中的 params 与 LRRangeTest 构造函数签名是一一对应的。
LRRT 的底层原理:源码中的放大公式
要真正用好 LRRT,理解它是如何计算每一步的学习率很重要。在 deepspeed/runtime/lr_schedules.py#L382-L393 中,当前学习率被统一表示为:
lr = lr_range_test_min_lr * (1 + lr_range_test_step_rate * interval)
其中 interval 的取值由是否开启 staircase 决定:
- 连续模式(
staircase = False,默认):interval = (last_batch_iteration + 1) / step_size,即学习率从基线起每一步都连续地按比例增长; - 阶梯模式(
staircase = True):interval = floor((last_batch_iteration + 1) / step_size),即学习率只在经过完整step_size步后跳变一档。
staircase 因此是在两种间隔计算函数(_continuous_interval / _staircase_interval)之间做选择,构造函数中以 self.interval_fn = self._staircase_interval if ... else self._continuous_interval 的形式把语义固化下来(deepspeed/runtime/lr_schedules.py#L376-L377)。注意这里公式的基线并不一定是 0:当 last_batch_iteration = 0、step_size = 200、step_rate = 5 时,第一步学习率即约为 min_lr * (1 + 5/200),而不是简单的 min_lr。这也是为什么官方示例中把起始 min_lr 选得比预期基线更低。
与 PyTorch Scheduler 的语义差异:按 batch 而非按 epoch step
LRRangeTest 的类文档特别强调:LRRT 在每个 batch 之后改变学习率,因此 step() 应当在每个 batch 训练完成后被调用,而不是按 epoch 调用(deepspeed/runtime/lr_schedules.py#L313-L346)。构造函数还接收 last_batch_iteration 参数(默认 -1),用于断点续训时恢复调度器进度:该值表示已经处理过的 batch 总数;为 -1 时调度器从起点开始并在构造时把各参数组学习率初始化为 min_lr。对应的 state_dict() / load_state_dict() 只保存这一个游标(deepspeed/runtime/lr_schedules.py#L407-L411),因此 LRRT 天然支持 checkpoint 的保存与恢复。
命令行方式配置 LRRT
除了 JSON,DeepSpeed 还允许通过命令行参数覆盖调度器配置。add_tuning_arguments 注册了 Convergence Tuning 参数组(deepspeed/runtime/lr_schedules.py#L61-L74),其中与 LRRT 相关的命令行参数及默认值如下:
| 命令行参数 | 默认值 | 说明 |
|---|---|---|
--lr_schedule | None | 指定调度器类型,如 LRRangeTest |
--lr_range_test_min_lr | 0.001 | 起始学习率 |
--lr_range_test_step_rate | 1.0 | 放大比例因子 |
--lr_range_test_step_size | 1000 | 每档跨越的训练步数 |
--lr_range_test_staircase | False(store_true) | 是否阶梯式放大 |
在训练启动命令中可这样写:
deepspeed train.py \
--deepspeed --deepspeed_config ds_config.json \
--lr_schedule LRRangeTest \
--lr_range_test_min_lr 0.0001 \
--lr_range_test_step_size 200 \
--lr_range_test_step_rate 5
在调度器真正被构造前,override_lr_range_test_params 会把解析出的命令行值写回调度器的 params 字典(deepspeed/runtime/lr_schedules.py#L133-L144),因此命令行与 JSON 两种来源是等价且可互相覆盖的。测试 tests/unit/runtime/test_lr_schedulers.py#L893-L902 验证了 --lr_range_test_staircase 这个 opt-in 标志会被正确搬运到调度器参数中,并最终决定选择阶梯还是连续间隔函数。
实战示例:用 LRRT 为大 Batch Size 调优
下面完整还原官方教程中一个真实的生产调优场景,它最能体现 LRRT 的实用价值。
背景:某内部生产模型从单 GPU(batch size 512)扩展到四 GPU(batch size 2048)。目标是用更大的 batch size、在相同的样本总量下训练,并匹配小 batch 的性能。众所周知,大 batch 训练收敛慢(大 batch 下通常需要更大的学习率才能等效前进)。作者的方案是借助 DeepSpeed 的 1Cycle 调度教程 来化解该问题,而 LRRT 被用来为该 1Cycle 调度器确定学习率边界。
在下图中,作者展示了 batch size 2048 下使用 LRRT 扫描学习率的实验结果。左图是前 9000 个 batch 内不同学习率策略对验证损失的影响;右图是同一时段内学习率本身的取值变化。经网格搜索(grid search)确定,batch size 2048 时最佳固定学习率为 0.0002(蓝线 lr=0.0002,固定学习率基线)。对比的两条 LRRT 曲线只有 lr_range_test_step_rate 不同:橙色线(lr_range_test_step_rate=5)与灰色线(lr_range_test_step_rate=50)均从同一基线出发,但灰线学习率增长速度约为橙线的 10 倍。下文分别称二者为"快增长"(fast growing)与"慢增长"(slow growing)LRRT 调度。图中数据点处,两条 LRRT 曲线的学习率均已超过蓝线。
从扫描结果得到的两个关键观察
观察一:在到达某一点之前,更大的学习率确实明显提升模型性能。 快增长 LRRT 调度在 3000 个 batch 时就把验证损失降到 0.46,而固定学习率在 9000 个 batch 内都没达到该水平;慢增长 LRRT 虽然直到 6000 个 batch 后才追平该分数,但它对固定学习率的性能优势是持续扩大的。
观察二:学习率存在有效上界,超出即发散。 快增长 LRRT 很快就撞上该边界并导致训练发散;慢增长 LRRT 因增长慢,会在更晚的阶段出于同样的原因发散。LRRT 的价值在于:它只用不到 2% 的训练数据,就高效地探明了这些边界。这些边界信息正是后续构造学习率调度(如 1Cycle 的 cycle_min_lr/cycle_max_lr)时最需要的先验。
依据 LRRT 结果配置 1Cycle 调度
基于上述扫描,作者为 1Cycle 调度配置了四个最关键的参数。把官方文档中给出的要点补全为可直接使用的完整 "scheduler" 配置块后如下:
"scheduler": {
"type": "OneCycle",
"params": {
"cycle_min_lr": 0.002,
"cycle_max_lr": 0.005,
"cycle_first_step_size": 2000,
"cycle_second_step_size": 2000,
"cycle_first_stair_count": 1000,
"cycle_second_stair_count": 1000,
"decay_step_size": 2000,
"cycle_min_mom": 0.85,
"cycle_max_mom": 0.95,
"decay_mom_rate": 0.0
}
}
从源码看,1Cycle 调度器支持的参数还包括 cycle_first_stair_count、cycle_second_stair_count、decay_step_size、cycle_min_mom、cycle_max_mom、decay_mom_rate 等(常量定义见 deepspeed/runtime/lr_schedules.py#L34-L46),其中最核心的就是上面四个。作者对四个核心取值的决策依据如下:
cycle_min_lr取 0.002:采信慢增长 LRRT(lr_range_test_step_rate=5)的结果,因为它在扫描中取得了最好的损失,而快增长调度很快发散,不适宜作为下界来源;cycle_max_lr取 0.005 而非更高:虽然图中显示略高一点的学习率性能仍在改善,但作者观察到如果一直等到学习率冲到真正的最大值,模型可能已处于发散边缘、无法恢复,因此主动在上界前留出安全余量;cycle_first_step_size与cycle_second_step_size都取 2000:根据 LRRT 扫描曲线,学习率需要约 8000 个 batch 才涨到 0.005;而在四 GPU 配置下,4 个 GPU 处理完 8000 个 batch 恰好对应 2000 个训练步,因此把单/双臂长度都设为 2000,保证一个完整的 1Cycle 周期覆盖从下界到上界再回落的核心过程。
这个"先用 LRRT 扫描边界、再把边界喂给 1Cycle"的两步法,就是 DeepSpeed 官方推荐的大 Batch 调优路径,也是 LRRT 最典型的落地姿势。
用单元测试验证 LRRT 的数值行为
DeepSpeed 的 LRRT 实现有完备的单元测试覆盖,可作为你理解其行为的"活文档":
- 调度器数值正确性:测试 tests/unit/runtime/test_lr_schedulers.py#L578 用一个参数化用例断言:默认配置下跑 2 步后学习率应精确等于
1e-3 * (1 + 2/2000),与上文的min_lr * (1 + step_rate * interval)公式逐字吻合; - 配置解析:测试 tests/unit/runtime/test_lr_schedulers.py#L222-L223 与 tests/unit/runtime/test_lr_schedulers.py#L285-L290 验证了
LRRangeTest类型与四个参数能从配置正确解析; - 参数校验:非正的
step_size会被拒绝(tests/unit/runtime/test_lr_schedulers.py#L772-L780); - staircase 语义:
--lr_range_test_staircase是显式 opt-in 参数,并最终决定阶梯/连续两种间隔函数的选择(tests/unit/runtime/test_lr_schedulers.py#L880-L902)。
使用建议与注意事项
- 不要用 LRRT 直接训练到收敛:LRRT 的定位是"扫一档就走"的诊断工具。由于学习率持续增长,训练必然在某个点发散,官方经验是用其扫描完边界后立即改用固定学习率、1Cycle 或 CLR 调度完成正式训练。
- 按 batch 调用
step():如果你的训练循环以 epoch 为单位调用 scheduler 的step(),学习率的增长节奏会与设计意图完全不符,务必在每个 batch 后 step(DeepSpeed 引擎本身也会遵循这一约定)。 - 注意
min_lr与基线的关系:由于增长公式为min_lr * (1 + step_rate * interval),学习率从第一档起就会略高于min_lr,选初始值时应参考step_rate与step_size的相对大小。 - staircase 的取舍:想让学习率以"平台-跳变"的离散方式爬升、便于观察每个档位对应的损失水平时开启;想更平滑地逼近边界时保持默认关闭。
- 与分布式/大规模训练结合:LRRT 的扫描开销很小(官方案例只消耗不到 2% 的训练数据),尤其适合在数据并行扩展 batch size 后先做一次低成本扫描,再据此配置 1Cycle 或 CLR 式调度,从而绕开大 batch 训练收敛慢这一经典难题。调度器整体配置的更多字段说明可进一步参考 config-json 文档。
只要遵循"先扫描、后建模"的思路,LRRT 能让你在极低的训练预算下掌握模型学习率的"安全操作区间",无论是调大 batch size、改造学习率调度还是日常换模型换数据,都能快速拿到可靠的起点。
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考




