PyTorch的官方bug：torch.optim.lr_scheduler.CosineAnnealingWarmRestarts

原创 已于 2022-05-04 02:48:29 修改 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #bug #深度学习

于 2022-05-04 02:34:36 首次发布
在低版本的PyTorch中使用`torch.optim.lr_scheduler.CosineAnnealingWarmRestarts`时遇到指定`last_epoch`参数的错误，升级到1.11.0版本后，预训练恢复时出现新的bug：在重启多次后的某个epoch，学习率会错误，然后在下一个epoch恢复正常。例如，当T_0=5且T_mult=2时，从特定epoch开始的前几个epoch学习率不正确，之后恢复正常。目前该问题被认为是官方bug，正在等待后续版本修复。
部署运行你感兴趣的模型镜像

torch.optim.lr_scheduler.CosineAnnealingWarmRestarts

低版本（如torch1.7.1）指定last_epoch参数时报错，已有人反馈指出，升级torch1.11.0可以解决该问题。

升级之后出现另外一个bug：训练过程中重启N次之后中断，再恢复进行预训练时，前N-1个epoch的lr错误，第N个epoch开始恢复正常。
例如当T_0=5, T_mult=2（这意味着lr将在第5,15,35,75,155,315…个epoch之后进行重启），预训练如果从第20个epoch开始时20的lr错误，21开始恢复正常；预训练从第40个epoch开始时40-41的lr错误，42开始恢复正常；预训练从第80个epoch开始时80-82的lr错误，83开始恢复正常

目前尚未解决，应该是官方bug，期待后续版本修复
【或者是我自己的代码逻辑出错，若有人无此问题，能正常恢复预训练，望评论告知，感谢！】

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

DeepLearning - 余弦退火热重启学习率 CosineAnnealingWarmRestartsLR
AGI
11-06 2361
CosineAnnealingWarmRestartsLR，即 余弦退火热重启学习率，周期性修改学习率的下降和上升，间隔幅度逐渐增大，避免模型的性能抖动。
【PyTorch】动态调整学习率 torch.optim.lr_scheduler.StepLR 调度器
码农努力学习
12-12 2229
在深度学习中，学习率调度器（Learning Rate Scheduler） 是用来动态调整学习率的工具。它的主要目的是在训练过程中自动调整学习率，以提高训练的效率和效果。之所以称其为“调度器”，是因为它控制着学习率的调整和更新，类似于调度一个过程或者任务，它按照某种策略和规则来“调度”学习率，本文将详细介绍pytorch中动态调整学习率方法之一。
ImportError: cannot import name ‘SAVE_STATE_WARNING‘ from ‘torch.optim.lr_scheduler‘ (/home/jsj/anac
jassnsnn的博客
09-21 1608
ImportError: cannot import name 'SAVE_STATE_WARNING' from 'torch.optim.lr_scheduler'
pytorch余弦退火学习率，代码和图示 CosineAnnealingLR，CosineAnnealingWarmRestarts
m0_37192554的博客
11-10 4754
pytorch的余弦退火学习率 torch.optim.lr_scheduler：调整学习率之CosineAnnealingWarmRestarts()参数说明 参考博主关于torch学习率调整的文章，写的非常好。https://blog.csdn.net/qyhaill/article/details/103043637，但是CosineAnnealingWarmRestarts()学习率调整博主没有写，在此借用
pytorch CosineAnnealingLR和CosineAnnealingWarmRestarts
qq_41021141的博客
08-02 6239
pytorch CosineAnnealingLR和CosineAnnealingWarmRestarts
运行ABSA-PyTorch报错ImportError: cannot import name ‘SAVE_STATE_WARNING‘ from ‘torch.optim.lr_scheduler‘
LeoEdwin的博客
04-14 2735
运行ABSA-PyTorch报错ImportError: cannot import name 'SAVE_STATE_WARNING' from 'torch.optim.lr_scheduler'解决办法
PyTorch学习笔记：torch.optim---Optimizer以及lr_scheduler
Codefmeister's BLOG
11-14 5327
本文参考 lr_scheduler介绍 以及 PyTorch optim文档 1 概述 1.1 PyTorch文档：torch.optim解读 下图是optim的文档 TORCH.OPTIM torch.optim is a package implementing various optimization algorithms. Most commonly used methods are already supported, and the interface is general enoug.
Python torch.optim.lr_scheduler 常用学习率调度器使用方法
basketball616的博客
04-25 1740
学习率（Learning Rate）是深度学习中一个关键的超参数，它决定了在优化算法（如梯度下降法）更新模型参数时，参数调整的幅度。简单来说，它控制着模型在训练过程中朝着最小化损失函数方向前进的步伐大小。假设我们使用简单的梯度下降法来更新模型的参数，对于损失函数，其更新规则可以表示为：其中，就是学习率。这个公式的意思是，在参数更新时，我们沿着损失函数梯度的反方向（因为梯度方向是函数增长最快的方向，我们要求最小值，所以取反方向）移动，移动的步长由学习率决定。学习率的重要性学习率过大。
【深度学习】学习率介绍(torch.optim.lr_scheduler学习率调度策略介绍)
好记性不如烂笔头
11-11 3654
学习率基本概念介绍以及调度策略介绍
torch.optim.lr_scheduler.LambdaLR与OneCycleLR
qq_37164776的博客
11-01 3883
LambdaLR 函数接口： LambdaLR(optimizer, lr_lambda, last_epoch=-1, verbose=False) 更新策略： 其中 是得到的新的学习率，是初始的学习率， λ是通过参数lr_lambda和epoch得到的。 参数： optimizer （Optimizer）：要更改学习率的优化器； lr_lambda（function or list）：可以为一个lambda函数，也可以传入列表； last_epoch （int）：最后一个epo..
引用lr_scheduler时报错
weixin_42082997的博客
09-14 1万+
import torch没问题，import optim也没问题，但是就是没有lr_scheduler python版本3.6.3 pytorch版本0.1.12 搜了一圈也没看到有效的解决办法，私以为是pytorch版本过低，奇怪的是更新卸载pytorch都失败，干脆重新安装一个 安装的时候要注意cuda版本要和本机cuda driver一致 测试，成功 推荐一个非常棒的链接 ...
Pytorch 调整学习率：torch.optim.lr_scheduler.CosineAnnealingLR和CosineAnnealingWarmRestarts
热门推荐
weixin_44682222的博客
12-29 2万+
一，torch.optim.lr_scheduler.CosineAnnealingLR 参数说明： torch.optim.lr_scheduler.CosineAnnealingLR(optimizer,T_max,eta_min=0,last_epoch=-1) T_max：因为学习率是周期性变化的，该参数表示周期的1/2，也就是说，初始的学习率为a，经过2*T_max时间后，学习率经过了一个周期变化后还是a。 eta_min：表示学习率可变化的最小值，默认为0 在去噪实验中，将T_max的值设定为
解决AttributeError: module ‘torch.optim.lr_scheduler‘ has no attribute ‘LinearLR‘
Peggiehu的博客
10-25 4965
运行pytorch官方文档构建网络时报错说没有LinearLR，这么报错肯定是版本问题，本来以为是pytorch1.9.1太高了降到了1.5.0发现依旧报错，去官方git上面搜了一下，参考 https://github.com/pytorch/vision/issues/4467 发现是版本太低了，LinearLR是1.10.0才有的函数，所以解决方案就是去torch官网 conda install pytorch torchvision torchaudio cudatoolkit=10.2 -c pyt
Python 中的 torch.optim.lr_scheduler 模块
Z2572862506的博客
01-31 1703
Python 中的 torch.optim.lr_scheduler 模块
Pytorch学习笔记调整学习率torch.optim.lr_scheduler._LRScheduler
子燕若水的博客
03-30 7767
0. 写在前面 PyTorch 在torch.optim.lr_scheduler中提供了十种调整学习率的类，它们的基类为torch.optim.lr_scheduler._LRScheduler。 这里记常用的一些。详尽的参考PyTorch 官方文档。 1. StepLR StepLR类，按固定间隔调整学习率 lr = lr \times gammalr=lr×gamma import matplotlib.pyplot as plt import se...
mmPretrain报错：ImportError: cannot import name ‘LRScheduler‘
最新发布
qq_39635835的博客
04-26 711
更新了transfomers的版本，将其升级到了transfomers。4.19.2，报错解决。
Pytorch中torch.optim.lr_scheduler.MultiStepLR
欢迎来到道的世界
03-22 8890
1.官方介绍   torch.optim.lr_scheduler.MultiStepLR表示按需求有外部设置调整学习率。具体参数如下： optimizer(Optimizer)optimizer(Optimizer)optimizer(Optimizer)：优化器 milestones(list)milestones(list)milestones(list)：lr改变时的epoch数目 gamma(float)gamma(float)gamma(float)：学习率调整倍数，默认为0.1，即下降10倍
pytorch动态调整学习率torch.optim.lr_scheduler.MultiStepLR()
u013925378的博客
04-03 1万+
pytorch中动态调整学习率的函数：torch.optim.lr_scheduler.MultiStepLR() 例如： milestones= [50,70] torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones, gamma=0.1, last_epoch=-1) 说明： 1）milestones为一个数组，如 [50,...
torch.optim.lr_scheduler.LambdaLR（ ）函数的用法
Kelly_Ai_Bai的博客
12-19 1189
torch.optim.lr_scheduler.LambdaLR()函数的用法
torch.optim.lr_scheduler.CosineAnnealingWarmRestarts
03-14
<think>好的，我现在需要向用户介绍PyTorch中的torch.optim.lr_scheduler.CosineAnnealingWarmRestarts。首先，我应该回忆一下这个学习率调度器的基本概念和用途。 用户可能已经知道学习率调度器的作用，但需要具体了解余弦退火热重启的特点。我记得这个调度器是基于论文《SGDR: Stochastic Gradient Descent with Warm Restarts》提出的，所以可能需要提到这一点。 接下来，我需要解释它的工作原理。根据CosineAnnealingWarmRestarts，学习率会按余弦函数周期性地调整，并且在每个周期结束时重启，同时保持一定的动量，以帮助跳出局部最优。这里的关键参数应该是T_0（初始周期长度）和T_mult（周期长度的乘数），可能还有eta_min（最低学习率）。 然后，我应该考虑用户可能的应用场景，比如当模型训练陷入平稳时，使用这个调度器可以重启学习率，帮助跳出局部最优。或者，在需要动态调整学习率的情况下，它比固定学习率或阶梯式下降更有效。 还需要注意如何在实际代码中使用这个调度器。比如，用户需要先定义一个优化器，然后创建这个调度器，并确保在训练循环中调用scheduler.step()。例如： optimizer = torch.optim.SGD(model.parameters(), lr=0.1) scheduler = torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(optimizer, T_0=50, T_mult=2, eta_min=0.001) 在每个epoch后执行scheduler.step()。同时，T_0是第一个周期的epoch数，T_mult是每次重启后周期长度乘以的系数，比如T_mult=2表示周期长度变为原来的两倍。 可能需要解释参数eta_min，默认是0，但有时候设置为非零值可以防止学习率过小。此外，每个周期结束后，学习率会从eta_min回到初始值，然后开始新的余弦下降。 用户可能会问这个调度器与其他调度器（如StepLR、ReduceLROnPlateau）的区别，所以需要准备比较。比如，StepLR是固定步长调整，而CosineAnnealingWarmRestarts是平滑周期调整，有助于跳出局部最优。 还要注意常见问题，比如什么时候使用这个调度器，比如当训练损失停滞时，或者希望模型探索更多参数空间时。此外，参数设置的建议，比如初始T_0可能需要根据数据集大小和模型复杂度调整，T_mult通常设置为1或2。 最后，总结这个调度器的优点，比如自动调整、避免手动调整学习率的麻烦，以及通过重启机制提升模型性能的可能性。可能还需要提醒用户在实际使用中结合验证集效果进行调整。</think>以下是对`torch.optim.lr_scheduler.CosineAnnealingWarmRestarts` 的详细介绍： --- ### 1. **基本概念** 这是 PyTorch 中一种**周期性调整学习率**的调度器，基于论文《SGDR: Stochastic Gradient Descent with Warm Restarts》提出。它通过**余弦函数**动态调整学习率，并在每个周期结束时执行“热重启”（Warm Restart），帮助模型跳出局部最优解。 --- ### 2. **核心公式** 学习率按以下公式变化： $$ \eta_t = \eta_{\text{min}} + \frac{1}{2}(\eta_{\text{max}} - \eta_{\text{min}})\left(1 + \cos\left(\frac{T_{\text{cur}}}{T_i} \pi\right)\right) $$ - $\eta_{\text{max}}$: 初始学习率 - $\eta_{\text{min}}$: 最低学习率（默认 0） - $T_i$: 第 $i$ 个周期的长度 - $T_{\text{cur}}$: 当前周期内的 epoch 计数 --- ### 3. **关键参数** | 参数 | 说明 | |-------|-------| | `T_0` | 第一个周期的长度（epoch 数） | | `T_mult` | 周期长度增长因子（默认 1，表示固定周期） | | `eta_min` | 最低学习率（默认 0） | | `last_epoch` | 恢复训练时的起始 epoch（通常无需手动设置） | --- ### 4. **工作流程** 1. **余弦下降**：学习率从初始值 $\eta_{\text{max}}$ 平滑降至 $\eta_{\text{min}}$。 2. **热重启**：周期结束时，学习率重置为 $\eta_{\text{max}}$，开始新周期。 3. **周期扩展**：若 `T_mult > 1`，后续周期长度按 $T_i = T_0 \times T_{\text{mult}}^i$ 增长。 --- ### 5. **代码示例** ```python import torch from torch.optim import SGD from torch.optim.lr_scheduler import CosineAnnealingWarmRestarts # 定义优化器 optimizer = SGD(model.parameters(), lr=0.1) # 创建调度器 scheduler = CosineAnnealingWarmRestarts( optimizer, T_0=50, # 初始周期长度=50 epochs T_mult=2, # 每次重启后周期长度翻倍 eta_min=1e-5 # 最低学习率 ) # 训练循环 for epoch in range(100): train(...) scheduler.step() # 更新学习率 ``` --- ### 6. **典型应用场景** - 模型训练陷入**损失平台期**时，通过重启跳出局部最优 - 替代固定学习率或阶梯式下降策略 - 需要平衡**探索**（高学习率）与**收敛**（低学习率）的场景 --- ### 7. **对比其他调度器** | 调度器 | 特点 | |--------|------| | `StepLR` | 固定步长降低学习率，突变式调整 | | `ReduceLROnPlateau` | 基于验证指标动态调整 | | `CosineAnnealingWarmRestarts` | 周期性平滑调整 + 重启机制 | --- ### 8. **注意事项** - **初始周期长度 `T_0`**：通常设为总训练 epoch 数的 1/5 到 1/10 - **`T_mult` 选择**：设为 1 表示固定周期长度，设为 2 逐步延长周期 - **与早停法结合**：重启机制可能干扰早停判断，需谨慎配合 --- 通过这种动态调整策略，模型可以更充分地探索参数空间，同时避免手动调整学习率的繁琐。实际效果需结合具体任务验证。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值