PyTorch的官方bug：torch.optim.lr_scheduler.CosineAnnealingWarmRestarts

已于 2022-05-04 02:48:29 修改
阅读量1.1k 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： pytorch bug 深度学习
于 2022-05-04 02:34:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/IT_Novice_/article/details/124564969
在低版本的PyTorch中使用`torch.optim.lr_scheduler.CosineAnnealingWarmRestarts`时遇到指定`last_epoch`参数的错误，升级到1.11.0版本后，预训练恢复时出现新的bug：在重启多次后的某个epoch，学习率会错误，然后在下一个epoch恢复正常。例如，当T_0=5且T_mult=2时，从特定epoch开始的前几个epoch学习率不正确，之后恢复正常。目前该问题被认为是官方bug，正在等待后续版本修复。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

torch.optim.lr_scheduler.CosineAnnealingWarmRestarts

低版本（如torch1.7.1）指定last_epoch参数时报错，已有人反馈指出，升级torch1.11.0可以解决该问题。

升级之后出现另外一个bug：训练过程中重启N次之后中断，再恢复进行预训练时，前N-1个epoch的lr错误，第N个epoch开始恢复正常。
例如当T_0=5, T_mult=2（这意味着lr将在第5,15,35,75,155,315…个epoch之后进行重启），预训练如果从第20个epoch开始时20的lr错误，21开始恢复正常；预训练从第40个epoch开始时40-41的lr错误，42开始恢复正常；预训练从第80个epoch开始时80-82的lr错误，83开始恢复正常

目前尚未解决，应该是官方bug，期待后续版本修复
【或者是我自己的代码逻辑出错，若有人无此问题，能正常恢复预训练，望评论告知，感谢！】

DeepLearning - 余弦退火热重启学习率 CosineAnnealingWarmRestartsLR
AGI
11-06 2043
CosineAnnealingWarmRestartsLR，即 余弦退火热重启学习率，周期性修改学习率的下降和上升，间隔幅度逐渐增大，避免模型的性能抖动。
pytorch学习笔记十六：torch.optim.lr_scheduler动态调整学习率
耐心的小黑的博客
08-30 2644
有篇文章总结的很全面，下面将其贴出来： 传送门：pytorch中的学习率调整函数
ImportError: cannot import name ‘SAVE_STATE_WARNING‘ from ‘torch.optim.lr_scheduler‘ (/home/jsj/anac
jassnsnn的博客
09-21 1568
ImportError: cannot import name 'SAVE_STATE_WARNING' from 'torch.optim.lr_scheduler'
mmPretrain报错：ImportError: cannot import name ‘LRScheduler‘
最新发布
qq_39635835的博客
04-26 439
更新了transfomers的版本，将其升级到了transfomers。4.19.2，报错解决。
pytorch余弦退火学习率，代码和图示 CosineAnnealingLR，CosineAnnealingWarmRestarts
m0_37192554的博客
11-10 4621
pytorch的余弦退火学习率 torch.optim.lr_scheduler：调整学习率之CosineAnnealingWarmRestarts()参数说明 参考博主关于torch学习率调整的文章，写的非常好。https://blog.csdn.net/qyhaill/article/details/103043637，但是CosineAnnealingWarmRestarts()学习率调整博主没有写，在此借用
pytorch CosineAnnealingLR和CosineAnnealingWarmRestarts
qq_41021141的博客
08-02 6033
pytorch CosineAnnealingLR和CosineAnnealingWarmRestarts
运行ABSA-PyTorch报错ImportError: cannot import name ‘SAVE_STATE_WARNING‘ from ‘torch.optim.lr_scheduler‘
LeoEdwin的博客
04-14 2608
运行ABSA-PyTorch报错ImportError: cannot import name 'SAVE_STATE_WARNING' from 'torch.optim.lr_scheduler'解决办法
torch.optim.lr_scheduler--学习率调整总结
weixin_44543648的博客
01-21 6327
参考链接：https://blog.csdn.net/qyhaill/article/details/103043637 调用例子： import torch import torch.nn as nn from torch.optim.lr_scheduler import LambdaLR initial_lr = 5 class model(nn.Module): def __init__(self): super().__init__() self.con
使用 PyTorch 的 `optim.lr_scheduler.CosineAnnealingLR` 学习率调度器
安静到无声
04-03 507
是一种学习率调度策略，它基于余弦函数来调整学习率。其核心思想是让学习率在一个周期内从初始值逐渐减小到一个最小值，然后再根据设置决定是否重启新的周期。这种策略可以在训练过程中动态地调整学习率，使模型在训练初期以较大的学习率快速收敛，而在训练后期以较小的学习率进行微调。
Pytorch笔记——学习率的调整torch.optim.lr_scheduler
神仙院B栋4楼保安的博客
09-19 1134
参考资料：官方文档 在训练网络的时候需要根据不同的训练阶段对网络的学习率进行调整，以得到较好的训练效果，有时候会觉得手动调整学习率的过程比较枯燥繁重，可以考虑尝试一下pytorch中的orch.optim.lr_scheduler的模块对学习率进行调整。这里介绍几个个人目前用的比较多的。 ReduceLROnPlateau 这是我目前用的最多的学习率调度器。这一调度器的作用是在某一指标没有被改善的时候降低学习率。 torch.optim.lr_scheduler.ReduceLROnPlateau(opti
pytorch torch.optim.lr_scheduler 调整学习率的六种策略
baoxin1100的博客
07-19 4146
pytorch torch.optim.lr_scheduler 调整学习率的六种策略 1. 为什么需要调整学习率 在深度学习训练过程中，最重要的参数就是学习率，通常来说，在整个训练过层中，学习率不会一直保持不变，为了让模型能够在训练初期快速收敛，学习率通常比较大，在训练末期，为了让模型收敛在更小的局部最优点，学习率通常要比较小。 2. 学习率的初始值设置 其实，不同的任务学习率的初始值是需要试验几次来获得的，使用的优化器不同，mini-batch 的 batch_size 大小不同，学习率的初始值也不太相
引用lr_scheduler时报错
weixin_42082997的博客
09-14 1万+
import torch没问题，import optim也没问题，但是就是没有lr_scheduler python版本3.6.3 pytorch版本0.1.12 搜了一圈也没看到有效的解决办法，私以为是pytorch版本过低，奇怪的是更新卸载pytorch都失败，干脆重新安装一个 安装的时候要注意cuda版本要和本机cuda driver一致 测试，成功 推荐一个非常棒的链接 ...
Pytorch 调整学习率：torch.optim.lr_scheduler.CosineAnnealingLR和CosineAnnealingWarmRestarts
热门推荐
weixin_44682222的博客
12-29 2万+
一，torch.optim.lr_scheduler.CosineAnnealingLR 参数说明： torch.optim.lr_scheduler.CosineAnnealingLR(optimizer,T_max,eta_min=0,last_epoch=-1) T_max：因为学习率是周期性变化的，该参数表示周期的1/2，也就是说，初始的学习率为a，经过2*T_max时间后，学习率经过了一个周期变化后还是a。 eta_min：表示学习率可变化的最小值，默认为0 在去噪实验中，将T_max的值设定为
解决AttributeError: module ‘torch.optim.lr_scheduler‘ has no attribute ‘LinearLR‘
Peggiehu的博客
10-25 4876
运行pytorch官方文档构建网络时报错说没有LinearLR，这么报错肯定是版本问题，本来以为是pytorch1.9.1太高了降到了1.5.0发现依旧报错，去官方git上面搜了一下，参考 https://github.com/pytorch/vision/issues/4467 发现是版本太低了，LinearLR是1.10.0才有的函数，所以解决方案就是去torch官网 conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pyt
Python 中的 torch.optim.lr_scheduler 模块
Z2572862506的博客
01-31 1619
Python 中的 torch.optim.lr_scheduler 模块
Pytorch学习笔记调整学习率torch.optim.lr_scheduler._LRScheduler
子燕若水的博客
03-30 7625
0. 写在前面 PyTorch 在torch.optim.lr_scheduler中提供了十种调整学习率的类，它们的基类为torch.optim.lr_scheduler._LRScheduler。 这里记常用的一些。详尽的参考PyTorch 官方文档。 1. StepLR StepLR类，按固定间隔调整学习率 lr = lr \times gammalr=lr×gamma import matplotlib.pyplot as plt import se...
Pytorch中torch.optim.lr_scheduler.MultiStepLR
欢迎来到道的世界
03-22 8790
1.官方介绍   torch.optim.lr_scheduler.MultiStepLR表示按需求有外部设置调整学习率。具体参数如下： optimizer(Optimizer)optimizer(Optimizer)optimizer(Optimizer)：优化器 milestones(list)milestones(list)milestones(list)：lr改变时的epoch数目 gamma(float)gamma(float)gamma(float)：学习率调整倍数，默认为0.1，即下降10倍
pytorch动态调整学习率torch.optim.lr_scheduler.MultiStepLR()
u013925378的博客
04-03 1万+
pytorch中动态调整学习率的函数：torch.optim.lr_scheduler.MultiStepLR() 例如： milestones= [50,70] torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1) 说明： 1）milestones为一个数组，如 [50,...
torch.optim.lr_scheduler.LambdaLR（ ）函数的用法
Kelly_Ai_Bai的博客
12-19 1106
torch.optim.lr_scheduler.LambdaLR()函数的用法
torch.optim.lr_scheduler.CosineAnnealingWarmRestarts
03-14
<think>好的，我现在需要向用户介绍PyTorch中的torch.optim.lr_scheduler.CosineAnnealingWarmRestarts。首先，我应该回忆一下这个学习率调度器的基本概念和用途。 用户可能已经知道学习率调度器的作用，但需要具体了解余弦退火热重启的特点。我记得这个调度器是基于论文《SGDR: Stochastic Gradient Descent with Warm Restarts》提出的，所以可能需要提到这一点。 接下来，我需要解释它的工作原理。根据CosineAnnealingWarmRestarts，学习率会按余弦函数周期性地调整，并且在每个周期结束时重启，同时保持一定的动量，以帮助跳出局部最优。这里的关键参数应该是T_0（初始周期长度）和T_mult（周期长度的乘数），可能还有eta_min（最低学习率）。 然后，我应该考虑用户可能的应用场景，比如当模型训练陷入平稳时，使用这个调度器可以重启学习率，帮助跳出局部最优。或者，在需要动态调整学习率的情况下，它比固定学习率或阶梯式下降更有效。 还需要注意如何在实际代码中使用这个调度器。比如，用户需要先定义一个优化器，然后创建这个调度器，并确保在训练循环中调用scheduler.step()。例如： optimizer = torch.optim.SGD(model.parameters(), lr=0.1) scheduler = torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(optimizer, T_0=50, T_mult=2, eta_min=0.001) 在每个epoch后执行scheduler.step()。同时，T_0是第一个周期的epoch数，T_mult是每次重启后周期长度乘以的系数，比如T_mult=2表示周期长度变为原来的两倍。 可能需要解释参数eta_min，默认是0，但有时候设置为非零值可以防止学习率过小。此外，每个周期结束后，学习率会从eta_min回到初始值，然后开始新的余弦下降。 用户可能会问这个调度器与其他调度器（如StepLR、ReduceLROnPlateau）的区别，所以需要准备比较。比如，StepLR是固定步长调整，而CosineAnnealingWarmRestarts是平滑周期调整，有助于跳出局部最优。 还要注意常见问题，比如什么时候使用这个调度器，比如当训练损失停滞时，或者希望模型探索更多参数空间时。此外，参数设置的建议，比如初始T_0可能需要根据数据集大小和模型复杂度调整，T_mult通常设置为1或2。 最后，总结这个调度器的优点，比如自动调整、避免手动调整学习率的麻烦，以及通过重启机制提升模型性能的可能性。可能还需要提醒用户在实际使用中结合验证集效果进行调整。</think>以下是对`torch.optim.lr_scheduler.CosineAnnealingWarmRestarts` 的详细介绍： --- ### 1. **基本概念** 这是 PyTorch 中一种**周期性调整学习率**的调度器，基于论文《SGDR: Stochastic Gradient Descent with Warm Restarts》提出。它通过**余弦函数**动态调整学习率，并在每个周期结束时执行“热重启”（Warm Restart），帮助模型跳出局部最优解。 --- ### 2. **核心公式** 学习率按以下公式变化： $$ \eta_t = \eta_{\text{min}} + \frac{1}{2}(\eta_{\text{max}} - \eta_{\text{min}})\left(1 + \cos\left(\frac{T_{\text{cur}}}{T_i} \pi\right)\right) $$ - $\eta_{\text{max}}$: 初始学习率 - $\eta_{\text{min}}$: 最低学习率（默认 0） - $T_i$: 第 $i$ 个周期的长度 - $T_{\text{cur}}$: 当前周期内的 epoch 计数 --- ### 3. **关键参数** | 参数 | 说明 | |-------|-------| | `T_0` | 第一个周期的长度（epoch 数） | | `T_mult` | 周期长度增长因子（默认 1，表示固定周期） | | `eta_min` | 最低学习率（默认 0） | | `last_epoch` | 恢复训练时的起始 epoch（通常无需手动设置） | --- ### 4. **工作流程** 1. **余弦下降**：学习率从初始值 $\eta_{\text{max}}$ 平滑降至 $\eta_{\text{min}}$。 2. **热重启**：周期结束时，学习率重置为 $\eta_{\text{max}}$，开始新周期。 3. **周期扩展**：若 `T_mult > 1`，后续周期长度按 $T_i = T_0 \times T_{\text{mult}}^i$ 增长。 --- ### 5. **代码示例** ```python import torch from torch.optim import SGD from torch.optim.lr_scheduler import CosineAnnealingWarmRestarts # 定义优化器 optimizer = SGD(model.parameters(), lr=0.1) # 创建调度器 scheduler = CosineAnnealingWarmRestarts( optimizer, T_0=50, # 初始周期长度=50 epochs T_mult=2, # 每次重启后周期长度翻倍 eta_min=1e-5 # 最低学习率 ) # 训练循环 for epoch in range(100): train(...) scheduler.step() # 更新学习率 ``` --- ### 6. **典型应用场景** - 模型训练陷入**损失平台期**时，通过重启跳出局部最优 - 替代固定学习率或阶梯式下降策略 - 需要平衡**探索**（高学习率）与**收敛**（低学习率）的场景 --- ### 7. **对比其他调度器** | 调度器 | 特点 | |--------|------| | `StepLR` | 固定步长降低学习率，突变式调整 | | `ReduceLROnPlateau` | 基于验证指标动态调整 | | `CosineAnnealingWarmRestarts` | 周期性平滑调整 + 重启机制 | --- ### 8. **注意事项** - **初始周期长度 `T_0`**：通常设为总训练 epoch 数的 1/5 到 1/10 - **`T_mult` 选择**：设为 1 表示固定周期长度，设为 2 逐步延长周期 - **与早停法结合**：重启机制可能干扰早停判断，需谨慎配合 --- 通过这种动态调整策略，模型可以更充分地探索参数空间，同时避免手动调整学习率的繁琐。实际效果需结合具体任务验证。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值