torch.optim.lr_scheduler：调整学习率之CosineAnnealingWarmRestarts()参数说明

最新推荐文章于 2025-04-03 21:06:21 发布
最新推荐文章于 2025-04-03 21:06:21 发布
阅读量1.8w 收藏 81
点赞数 47
CC 4.0 BY-SA版权
分类专栏： python 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37612828/article/details/108213578
本文详细介绍了PyTorch中用于调整学习率的CosineAnnealingWarmRestarts()函数，通过示例代码和图像解析了T_0和T_mult参数的作用。当T_mult=1时，重启周期固定；当T_mult=2时，重启周期逐渐延长，重启次数分别在5, 15, 35, 75等epoch发生。" 64907389,5528975,Apache2.4负载均衡配置详解,"['Apache配置', '负载均衡技术', '服务器管理', '网络架构', 'CentOS系统']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考博主关于torch学习率调整的文章，写的非常好。https://blog.youkuaiyun.com/qyhaill/article/details/103043637，但是CosineAnnealingWarmRestarts()学习率调整博主没有写，在此借用博主的代码，补充一下此函数的学习率调整曲线。对于此函数，官方解释如下：链接地址https://pytorch.org/docs/stable/optim.html

函数名跟CosinAnnealingLR()相近，参数有两个不一样，T_0就是初始restart的epoch数目，T_mult就是重启之后因子，默认是1。我觉得可以这样理解，每个restart后，T_0 = T_0 * T_mult。当T_mult默认时，上代码

import torch
import torch.nn as nn
from torch.optim.lr_scheduler import CosineAnnealingLR, CosineAnnealingWarmRestarts
import itertools

import matplotlib.pyplot as plt

initial_lr = 0.1


class model(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels=3, out_channels=3, kernel_size=3)

    def forward(self, x):
        pass


net_1 = model()

optimizer_1 = torch.optim.Adam(net_1.parameters(), lr=initial_lr)
scheduler_1 = CosineAnnealingWarmRestarts(optimizer_1, T_0=5)

print("初始化的学习率：", optimizer_1.defaults['lr'])

lr_list = []  # 把使用过的lr都保存下来，之后画出它的变化

for epoch in range(1, 101):
    # train

    optimizer_1.zero_grad()
    optimizer_1.step()
    print("第%d个epoch的学习率：%f" % (epoch, optimizer_1.param_groups[0]['lr']))
    lr_list.append(optimizer_1.param_groups[0]['lr'])
    scheduler_1.step()

# 画出lr的变化
plt.plot(list(range(1, 101)), lr_list)
plt.xlabel("epoch")
plt.ylabel("lr")
plt.title("learning rate's curve changes as epoch goes on!")
plt.show()

输出结果

初始化的学习率： 0.1
第1个epoch的学习率：0.100000
第2个epoch的学习率：0.090451
第3个epoch的学习率：0.065451
第4个epoch的学习率：0.034549
第5个epoch的学习率：0.009549
第6个epoch的学习率：0.100000
第7个epoch的学习率：0.090451
第8个epoch的学习率：0.065451
第9个epoch的学习率：0.034549
第10个epoch的学习率：0.009549
第11个epoch的学习率：0.100000
第12个epoch的学习率：0.090451
第13个epoch的学习率：0.065451
第14个epoch的学习率：0.034549
第15个epoch的学习率：0.009549
第16个epoch的学习率：0.100000
第17个epoch的学习率：0.090451
第18个epoch的学习率：0.065451
第19个epoch的学习率：0.034549
第20个epoch的学习率：0.009549
第21个epoch的学习率：0.100000
第22个epoch的学习率：0.090451
第23个epoch的学习率：0.065451
第24个epoch的学习率：0.034549
第25个epoch的学习率：0.009549
第26个epoch的学习率：0.100000
第27个epoch的学习率：0.090451
第28个epoch的学习率：0.065451
第29个epoch的学习率：0.034549
第30个epoch的学习率：0.009549
第31个epoch的学习率：0.100000
第32个epoch的学习率：0.090451
第33个epoch的学习率：0.065451
第34个epoch的学习率：0.034549
第35个epoch的学习率：0.009549
第36个epoch的学习率：0.100000
第37个epoch的学习率：0.090451
第38个epoch的学习率：0.065451
第39个epoch的学习率：0.034549
第40个epoch的学习率：0.009549
第41个epoch的学习率：0.100000
第42个epoch的学习率：0.090451
第43个epoch的学习率：0.065451
第44个epoch的学习率：0.034549
第45个epoch的学习率：0.009549
第46个epoch的学习率：0.100000
第47个epoch的学习率：0.090451
第48个epoch的学习率：0.065451
第49个epoch的学习率：0.034549
第50个epoch的学习率：0.009549
第51个epoch的学习率：0.100000
第52个epoch的学习率：0.090451
第53个epoch的学习率：0.065451
第54个epoch的学习率：0.034549
第55个epoch的学习率：0.009549
第56个epoch的学习率：0.100000
第57个epoch的学习率：0.090451
第58个epoch的学习率：0.065451
第59个epoch的学习率：0.034549
第60个epoch的学习率：0.009549
第61个epoch的学习率：0.100000
第62个epoch的学习率：0.090451
第63个epoch的学习率：0.065451
第64个epoch的学习率：0.034549
第65个epoch的学习率：0.009549
第66个epoch的学习率：0.100000
第67个epoch的学习率：0.090451
第68个epoch的学习率：0.065451
第69个epoch的学习率：0.034549
第70个epoch的学习率：0.009549
第71个epoch的学习率：0.100000
第72个epoch的学习率：0.090451
第73个epoch的学习率：0.065451
第74个epoch的学习率：0.034549
第75个epoch的学习率：0.009549
第76个epoch的学习率：0.100000
第77个epoch的学习率：0.090451
第78个epoch的学习率：0.065451
第79个epoch的学习率：0.034549
第80个epoch的学习率：0.009549
第81个epoch的学习率：0.100000
第82个epoch的学习率：0.090451
第83个epoch的学习率：0.065451
第84个epoch的学习率：0.034549
第85个epoch的学习率：0.009549
第86个epoch的学习率：0.100000
第87个epoch的学习率：0.090451
第88个epoch的学习率：0.065451
第89个epoch的学习率：0.034549
第90个epoch的学习率：0.009549
第91个epoch的学习率：0.100000
第92个epoch的学习率：0.090451
第93个epoch的学习率：0.065451
第94个epoch的学习率：0.034549
第95个epoch的学习率：0.009549
第96个epoch的学习率：0.100000
第97个epoch的学习率：0.090451
第98个epoch的学习率：0.065451
第99个epoch的学习率：0.034549
第100个epoch的学习率：0.009549

输出图像

当T_mult设置成为2时，代码

import torch
import torch.nn as nn
from torch.optim.lr_scheduler import CosineAnnealingLR, CosineAnnealingWarmRestarts
import itertools

import matplotlib.pyplot as plt

initial_lr = 0.1


class model(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels=3, out_channels=3, kernel_size=3)

    def forward(self, x):
        pass


net_1 = model()

optimizer_1 = torch.optim.Adam(net_1.parameters(), lr=initial_lr)
scheduler_1 = CosineAnnealingWarmRestarts(optimizer_1, T_0=5, T_mult=2)

print("初始化的学习率：", optimizer_1.defaults['lr'])

lr_list = []  # 把使用过的lr都保存下来，之后画出它的变化

for epoch in range(1, 101):
    # train

    optimizer_1.zero_grad()
    optimizer_1.step()
    print("第%d个epoch的学习率：%f" % (epoch, optimizer_1.param_groups[0]['lr']))
    lr_list.append(optimizer_1.param_groups[0]['lr'])
    scheduler_1.step()

# 画出lr的变化
plt.plot(list(range(1, 101)), lr_list)
plt.xlabel("epoch")
plt.ylabel("lr")
plt.title("learning rate's curve changes as epoch goes on!")
plt.show()

输出结果

初始化的学习率： 0.1
第1个epoch的学习率：0.100000
第2个epoch的学习率：0.090451
第3个epoch的学习率：0.065451
第4个epoch的学习率：0.034549
第5个epoch的学习率：0.009549
第6个epoch的学习率：0.100000
第7个epoch的学习率：0.097553
第8个epoch的学习率：0.090451
第9个epoch的学习率：0.079389
第10个epoch的学习率：0.065451
第11个epoch的学习率：0.050000
第12个epoch的学习率：0.034549
第13个epoch的学习率：0.020611
第14个epoch的学习率：0.009549
第15个epoch的学习率：0.002447
第16个epoch的学习率：0.100000
第17个epoch的学习率：0.099384
第18个epoch的学习率：0.097553
第19个epoch的学习率：0.094550
第20个epoch的学习率：0.090451
第21个epoch的学习率：0.085355
第22个epoch的学习率：0.079389
第23个epoch的学习率：0.072700
第24个epoch的学习率：0.065451
第25个epoch的学习率：0.057822
第26个epoch的学习率：0.050000
第27个epoch的学习率：0.042178
第28个epoch的学习率：0.034549
第29个epoch的学习率：0.027300
第30个epoch的学习率：0.020611
第31个epoch的学习率：0.014645
第32个epoch的学习率：0.009549
第33个epoch的学习率：0.005450
第34个epoch的学习率：0.002447
第35个epoch的学习率：0.000616
第36个epoch的学习率：0.100000
第37个epoch的学习率：0.099846
第38个epoch的学习率：0.099384
第39个epoch的学习率：0.098618
第40个epoch的学习率：0.097553
第41个epoch的学习率：0.096194
第42个epoch的学习率：0.094550
第43个epoch的学习率：0.092632
第44个epoch的学习率：0.090451
第45个epoch的学习率：0.088020
第46个epoch的学习率：0.085355
第47个epoch的学习率：0.082472
第48个epoch的学习率：0.079389
第49个epoch的学习率：0.076125
第50个epoch的学习率：0.072700
第51个epoch的学习率：0.069134
第52个epoch的学习率：0.065451
第53个epoch的学习率：0.061672
第54个epoch的学习率：0.057822
第55个epoch的学习率：0.053923
第56个epoch的学习率：0.050000
第57个epoch的学习率：0.046077
第58个epoch的学习率：0.042178
第59个epoch的学习率：0.038328
第60个epoch的学习率：0.034549
第61个epoch的学习率：0.030866
第62个epoch的学习率：0.027300
第63个epoch的学习率：0.023875
第64个epoch的学习率：0.020611
第65个epoch的学习率：0.017528
第66个epoch的学习率：0.014645
第67个epoch的学习率：0.011980
第68个epoch的学习率：0.009549
第69个epoch的学习率：0.007368
第70个epoch的学习率：0.005450
第71个epoch的学习率：0.003806
第72个epoch的学习率：0.002447
第73个epoch的学习率：0.001382
第74个epoch的学习率：0.000616
第75个epoch的学习率：0.000154
第76个epoch的学习率：0.100000
第77个epoch的学习率：0.099961
第78个epoch的学习率：0.099846
第79个epoch的学习率：0.099653
第80个epoch的学习率：0.099384
第81个epoch的学习率：0.099039
第82个epoch的学习率：0.098618
第83个epoch的学习率：0.098123
第84个epoch的学习率：0.097553
第85个epoch的学习率：0.096910
第86个epoch的学习率：0.096194
第87个epoch的学习率：0.095407
第88个epoch的学习率：0.094550
第89个epoch的学习率：0.093625
第90个epoch的学习率：0.092632
第91个epoch的学习率：0.091573
第92个epoch的学习率：0.090451
第93个epoch的学习率：0.089266
第94个epoch的学习率：0.088020
第95个epoch的学习率：0.086716
第96个epoch的学习率：0.085355
第97个epoch的学习率：0.083940
第98个epoch的学习率：0.082472
第99个epoch的学习率：0.080955
第100个epoch的学习率：0.079389

输出图像

可以看出来，当T_mult设置为2时，当epoch=5时重启依次，下一次T_0 = T_0 * T_mul此时T_0等于10，在第16次重启，下一阶段，T_0 = T_0 * T_mult 此时T_0等于20再20个epcoh重启。所以曲线重启越来越缓慢，依次在第5，5+5*2=15，15+10*2=35，35+20 * 2=75次时重启。

DeepLearning - 余弦退火热重启学习率 CosineAnnealingWarmRestartsLR
AGI
11-06 2059
CosineAnnealingWarmRestartsLR，即 余弦退火热重启学习率，周期性修改学习率的下降和上升，间隔幅度逐渐增大，避免模型的性能抖动。
pytorch学习笔记十六：torch.optim.lr_scheduler动态调整学习率
耐心的小黑的博客
08-30 2655
有篇文章总结的很全面，下面将其贴出来： 传送门：pytorch中的学习率调整函数
重启机制（Cosine Annealing with Restarts）如何影响模型的性能？
百态老人的博客
01-24 980
重启机制（Cosine Annealing with Restarts）通过结合余弦退火和热重启的优点，显著提升了神经网络的训练效率和性能。它不仅能够帮助模型跳出局部最小值、加速收敛，还能提高模型的鲁棒性和泛化能力。然而，其效果依赖于合理的超参数设置，因此在实际应用中需要根据具体任务进行调整。这种策略已被广泛应用于图像分类、目标检测、自然语言处理等多个领域，并取得了显著的成果。
torch.optim.lr_scheduler.CosineAnnealingWarmRestarts
junjian Li
12-05 6131
torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(optimizer, T_0, T_mult=1, \ eta_min=0, last_epoch=- 1, verbose=False) 使用余弦退火来设置每个参数组的学习率. - optimizer (Optimizer) – Wrapped optimizer. 优化器 - T_0 (int) – Number of iterations for the first restart.学习率第一
torch.optim.lr_scheduler.CosineAnnealingWarmRestarts、OneCycleLR定义与使用
豆芽菜
10-03 6146
torch中有多种余弦退火学习率调整方法，包括：OneCycleLR、CosineAnnealingLR和CosineAnnealingWarmRestarts。
class torch.optim.lr_scheduler.CosineAnnealingWarmRestarts
敲代码的小风
04-26 1101
参考链接: class torch.optim.lr_scheduler.CosineAnnealingWarmRestarts(optimizer, T_0, T_mult=1, eta_min=0, last_epoch=-1, verbose=False)
Pytorch 调整学习率：torch.optim.lr_scheduler.CosineAnnealingLR和CosineAnnealingWarmRestarts
热门推荐
weixin_44682222的博客
12-29 2万+
一，torch.optim.lr_scheduler.CosineAnnealingLR 参数说明： torch.optim.lr_scheduler.CosineAnnealingLR(optimizer,T_max,eta_min=0,last_epoch=-1) T_max：因为学习率是周期性变化的，该参数表示周期的1/2，也就是说，初始的学习率为a，经过2*T_max时间后，学习率经过了一个周期变化后还是a。 eta_min：表示学习率可变化的最小值，默认为0 在去噪实验中，将T_max的值设定为
torch.optim.lr_scheduler--学习率调整总结
weixin_44543648的博客
01-21 6337
参考链接：https://blog.csdn.net/qyhaill/article/details/103043637 调用例子： import torch import torch.nn as nn from torch.optim.lr_scheduler import LambdaLR initial_lr = 5 class model(nn.Module): def __init__(self): super().__init__() self.con
使用 PyTorch 的 `optim.lr_scheduler.CosineAnnealingLR` 学习率调度器
最新发布
安静到无声
04-03 527
是一种学习率调度策略，它基于余弦函数来调整学习率。其核心思想是让学习率在一个周期内从初始值逐渐减小到一个最小值，然后再根据设置决定是否重启新的周期。这种策略可以在训练过程中动态地调整学习率，使模型在训练初期以较大的学习率快速收敛，而在训练后期以较小的学习率进行微调。
Pytorch笔记——学习率的调整torch.optim.lr_scheduler
神仙院B栋4楼保安的博客
09-19 1135
参考资料：官方文档 在训练网络的时候需要根据不同的训练阶段对网络的学习率进行调整，以得到较好的训练效果，有时候会觉得手动调整学习率的过程比较枯燥繁重，可以考虑尝试一下pytorch中的orch.optim.lr_scheduler的模块对学习率进行调整。这里介绍几个个人目前用的比较多的。 ReduceLROnPlateau 这是我目前用的最多的学习率调度器。这一调度器的作用是在某一指标没有被改善的时候降低学习率。 torch.optim.lr_scheduler.ReduceLROnPlateau(opti
深度学习：学习率规划-余弦退火CosineAnnealing和WarmRestart原理及实现 深度学习原理.pdf
04-13
深度学习：学习率规划-余弦退火CosineAnnealing和WarmRestart原理及实现 深度学习原理.pdf
keras学习率余弦退火CosineAnnealing
01-06
keras学习率余弦退火CosineAnnealing1.引言2.余弦退火的原理3.keras实现 1.引言 当我们使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率应该变得更小来使得模型不会超调且尽可能接近这一点，而余弦退火（Cosine annealing）可以通过余弦函数来降低学习率。余弦函数中随着x的增加余弦值首先缓慢下降，然后加速下降，再次缓慢下降。这种下降模式能和学习率配合，以一种十分有效的计算方式来产生很好的效果。 在论文Stochastic Gradient Descent with Warm Restarts中介绍主要介绍了带重启的随机梯度下
pytorch torch.optim.lr_scheduler 调整学习率的六种策略
baoxin1100的博客
07-19 4154
pytorch torch.optim.lr_scheduler 调整学习率的六种策略 1. 为什么需要调整学习率 在深度学习训练过程中，最重要的参数就是学习率，通常来说，在整个训练过层中，学习率不会一直保持不变，为了让模型能够在训练初期快速收敛，学习率通常比较大，在训练末期，为了让模型收敛在更小的局部最优点，学习率通常要比较小。 2. 学习率的初始值设置 其实，不同的任务学习率的初始值是需要试验几次来获得的，使用的优化器不同，mini-batch 的 batch_size 大小不同，学习率的初始值也不太相
pytorch CosineAnnealingLR和CosineAnnealingWarmRestarts
qq_41021141的博客
08-02 6066
pytorch CosineAnnealingLR和CosineAnnealingWarmRestarts
pytorch余弦退火学习率，代码和图示 CosineAnnealingLR，CosineAnnealingWarmRestarts
m0_37192554的博客
11-10 4631
pytorch的余弦退火学习率 torch.optim.lr_scheduler：调整学习率之CosineAnnealingWarmRestarts()参数说明 参考博主关于torch学习率调整的文章，写的非常好。https://blog.csdn.net/qyhaill/article/details/103043637，但是CosineAnnealingWarmRestarts()学习率调整博主没有写，在此借用
Cosine Annealing Warm Restart论文讲解
Le0v1n 的博客
05-28 3103
Cosine Annealing Warm Restart论文讲解
pytorch-scheduler（调度器）
始于足下
07-26 2300
scheduler（调度器）是一种用于调整优化算法中学习率的机制。学习率是控制模型参数更新幅度的关键超参数，而调度器根据预定的策略在训练过程中动态地调整学习率。优化器负责根据损失函数的梯度更新模型的参数，而调度器则负责调整优化过程中使用的特定参数，通常是学习率。调度器通过调整学习率帮助优化器更有效地搜索参数空间，避免陷入局部最小值，并加快收敛速度。调度器允许实现复杂的训练策略，学习率预热、周期性调整或突然降低学习率，这些策略对于优化器的性能至关重要。学习率绘图函数。
torch.optim.lr_scheduler源码和cosine学习率策略学习
Stoneplay
03-19 6246
torch.optim.lr_scheduler是PyTorch中负责调整学习率的模块，常和torch.optim.Optimizer配合使用。 class _LRScheduler(object): def __init__(self, optimizer, last_epoch=-1): # 读取相应的Optimizer if not ...
深度学习：学习率规划-余弦退火CosineAnnealing和WarmRestart原理及实现
Ten_yn的博客
12-15 1万+
摘要：文献【1】中除了权重衰减还利用了余弦退火(Cosine Annealing)以及Warm Restart，本文介绍这两种方法的原理及numpy和Keras的实现方法，其中Keras实现中继承回调函数Callbacks。
scheduler = torch.optim.lr_scheduler.OneCylelR( AttributeError: module 'torch.optim.lr_scheduler' has no attribute 'OneCylelR'
12-19
看起来你在尝试导入PyTorch中的优化器scheduler时遇到了错误，属性`OneCylelR`并未在`torch.optim.lr_scheduler`模块中找到。实际上，正确的名称应该是`OneCycleLR`，而不是`OneCylelR`。`OneCycleLR`是PyTorch优化器学习率调度器中的一个周期性调整策略，它在训练过程中按照特定的模式改变学习率。 这是如何使用的示例： ```python from torch.optim import Adam from torch.optim.lr_scheduler import OneCycleLR # 创建Adam优化器 optimizer = Adam(model.parameters(), lr=0.001) # 创建一个OneCycleLR实例 scheduler = OneCycleLR(optimizer, max_lr=0.1, # 最大学习率 total_steps=len(train_loader), # 训练步数 pct_start=0.1, # 学习率变化开始的百分比 anneal_strategy='linear') # 学习率衰减策略 # 将学习率调度器附加到优化器上 scheduler.attach(optimizer) ``` 如果你仍然遇到AttributeError，确认一下你是否已经正确安装了最新版本的PyTorch，并且检查拼写是否完全正确。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值