Pytorch中的学习率调整lr_scheduler,ReduceLROnPlateau

本文详细介绍PyTorch中学习率调整策略,包括基于epoch数的LambdaLR、StepLR、MultiStepLR、ExponentialLR、CosineAnnealingLR,及基于验证集指标的ReduceLROnPlateau。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Pytorch中的学习率调整:lr_scheduler,ReduceLROnPlateau

  • torch.optim.lr_scheduler:该方法中提供了多种基于epoch训练次数进行学习率调整的方法;

  • torch.optim.lr_scheduler.ReduceLROnPlateau:该方法提供了一些基于训练过程中的某些测量值对学习率进行动态的下降.

lr_scheduler调整方法一:根据epochs

CLASS torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)

将每个参数组的学习率设置为给定函数的初始值,当last_epoch=-1时,设置初始的lr作为lr;

参数:

optimizer:封装好的优化器

lr_lambda(function or list):一个计算每个epoch的学习率的函数或者一个list;

last_epoch:最后一个epoch的索引

eg:

>>> # Assuming optimizer has two groups.
>>> lambda1 = lambda epoch: epoch // 30
>>> lambda2 = lambda epoch: 0.95 ** epoch
>>> scheduler = LambdaLR(optimizer, lr_lambda=[lambda1, lambda2])
>>> for epoch in range(100):
>>>     scheduler.step()
>>>     train(...)
>>>     validate(...)
CLASS torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

当epoch每过stop_size时,学习率都变为初始学习率的gamma倍

eg:

>>> # Assuming optimizer uses lr = 0.05 for all groups
>>> # lr = 0.05     if epoch < 30
>>> # lr = 0.005    if 30 <= epoch < 60
>>> # lr = 0.0005   if 60 <= epoch < 90
>>> # ...
>>> scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
>>> for epoch in range(100):
>>>     scheduler.step()
>>>     train(...)
>>>     validate(...)
CLASS torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1)

当训练epoch达到milestones值时,初始学习率乘以gamma得到新的学习率;

eg:

>>> # Assuming optimizer uses lr = 0.05 for all groups
>>> # lr = 0.05     if epoch < 30
>>> # lr = 0.005    if 30 <= epoch < 80
>>> # lr = 0.0005   if epoch >= 80
>>> scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1)
>>> for epoch in range(100):
>>>     scheduler.step()
>>>     train(...)
>>>     validate(...)
CLASS torch.optim.lr_scheduler.ExponentialLR(optimizer, gamma, last_epoch=-1)

每个epoch学习率都变为初始学习率的gamma倍

CLASS torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1)

利用cos曲线降低学习率,该方法来源SGDR,学习率变换如下公式:
η t = η min ⁡ + 1 2 ( η max ⁡ − η min ⁡ ) ( 1 + cos ⁡ ( T c u r T max ⁡ π ) ) \eta _ { t } = \eta _ { \min } + \frac { 1 } { 2 } \left( \eta _ { \max } - \eta _ { \min } \right) \left( 1 + \cos \left( \frac { T _ { c u r } } { T _ { \max } } \pi \right) \right) ηt=ηmin+21(ηmaxηmin)(1+cos(TmaxTcurπ))
其中 η m a x \eta_{max} ηmax为初始学习率, T c u r T_{cur} Tcur为当前epochs;eta_min表示公式中的 η m i n \eta_{min} ηmin,常设置为0;

lr_scheduler调整方法一:根据测试指标

CLASS torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode='min', factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode='rel', cooldown=0, min_lr=0, eps=1e-08)

当参考的评价指标停止改进时,降低学习率,factor为每次下降的比例,训练过程中,当指标连续patience次数还没有改进时,降低学习率;

参考

https://pytorch.org/docs/stable/optim.html

<think>我们正在使用PyTorch的torch.optim.lr_scheduler模块来设置学习率调度器,并在训练过程中记录每个epoch的学习率值,最后用Matplotlib绘制学习率变化曲线。根据用户提供的引用示例,我们可以总结出以下步骤:1.导入必要的库:torch,torch.optim,torch.optim.lr_scheduler,matplotlib.pyplot2.定义一个模型(可以是任意模型,因为我们不进行实际训练,只关注学习率变化)和优化器3.选择一个学习率调度器(如ExponentialLR,CosineAnnealingLR,CyclicLR等)4.模拟训练循环(不需要实际训练数据),在每个epoch后调用scheduler.step(),并记录当前学习率5.使用matplotlib绘制学习率随epoch变化的曲线我们将展示三种常见的学习率调度器的可视化方法:1.指数衰减(ExponentialLR)2.循环学习率(CyclicLR)3.余弦退火(CosineAnnealingLR)注意:在绘制多个调度器时,我们可以分别运行并记录,然后绘制在同一张图上进行比较。由于用户要求用中文回答,我将用中文编写注释和说明。</think> ### 如何在 PyTorch 中使用 Matplotlib 可视化学习率变化曲线 完整步骤如下(含代码示例): #### 1. 导入所需库 ```python import torch import torch.optim as optim from torch.optim import lr_scheduler import matplotlib.pyplot as plt ``` #### 2. 创建模型和优化器(以 SGD 为例) ```python model = torch.nn.Linear(10, 2) # 任意模型 optimizer = optim.SGD(model.parameters(), lr=0.1) # 初始学习率设为 0.1 ``` #### 3. 选择学习率调度策略 根据需求选择调度器并配置参数: **示例 1:指数衰减** 学习率按 $ \alpha_t = \alpha_0 \cdot \gamma^t $ 衰减 ```python scheduler = lr_scheduler.ExponentialLR(optimizer, gamma=0.95) # 每 epoch 衰减 5%[^1] ``` **示例 2:余弦退火** $$ \alpha_t = \eta_{min} + \frac{1}{2}(\alpha_0 - \eta_{min})(1 + \cos(\frac{t}{T_{max}}\pi)) $$ ```python scheduler = lr_scheduler.CosineAnnealingLR(optimizer, T_max=50, eta_min=0.001) # 周期 50 步,最小学习率 0.001[^3] ``` **示例 3:循环学习率** ```python scheduler = lr_scheduler.CyclicLR( optimizer, base_lr=0.001, max_lr=0.1, step_size_up=10, # 上升步数 step_size_down=5, # 下降步数 mode='triangular' # 三角模式 )[^2] ``` #### 4. 记录学习率变化 ```python epochs = 100 lr_history = [] for epoch in range(epochs): # 训练代码(实际训练时需添加) optimizer.step() # 记录当前学习率 current_lr = optimizer.param_groups[0]['lr'] lr_history.append(current_lr) # 更新学习率 scheduler.step() ``` #### 5. 使用 Matplotlib 可视化 ```python plt.figure(figsize=(10, 6)) plt.plot(range(epochs), lr_history, 'b-', linewidth=2) plt.title('Learning Rate Schedule', fontsize=14) plt.xlabel('Epoch', fontsize=12) plt.ylabel('Learning Rate', fontsize=12) plt.grid(True, linestyle='--', alpha=0.7) plt.savefig('lr_schedule.png', dpi=300) plt.show() ``` ### 关键说明 1. **多策略对比**:同时绘制多个调度器曲线时,使用不同颜色和标签: ```python plt.plot(epochs, lr_exp, 'r-', label='Exponential Decay') plt.plot(epochs, lr_cos, 'b--', label='Cosine Annealing') plt.legend() ``` 2. **参数验证**:每个 epoch 打印学习率验证变化是否符合预期: ```python print(f'Epoch {epoch}: LR = {current_lr:.6f}') ``` 3. **中断恢复**:若训练中断需保存/加载调度器状态: ```python checkpoint = { 'scheduler_state': scheduler.state_dict(), 'last_epoch': epoch } torch.save(checkpoint, 'scheduler.pth') ``` ---
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值