CosineAnnealingLR学习率更新与热重启SGDR的关系

原创 已于 2022-03-16 01:09:29 修改 · 2.9k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习

于 2022-03-16 01:08:49 首次发布
本文介绍了PyTorch中的CosineAnnealingLR学习率调度策略，该策略使学习率按照余弦函数衰减，避免了学习率回升。讨论了其在模型优化中的作用，以及如何防止陷入局部最优。同时，对比了SGDR（Stochastic Gradient Descent with Warm Restarts）策略，该策略通过周期性的学习率重启来促进模型跳出不佳的极小值点，提高泛化能力。两种策略各有优势，选择取决于实验需求。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CosineAnnealingLR

torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0, last_epoch=-1, verbose=False)
作用是让lr随着epoch的变化图类似于cos，公式如下
在这里插入图片描述
ηt表示新得到的学习率；
ηmin表示学习率最小值（默认为0）；
ηmax表示学习率最大值，即初始学习率；
Tcur表示已经记录的epoch数，即当前epoch数减1；
Tmax表示lr从初始预设值降低到最小值的pooch数，即cos周期的1/2（当Tcur=Tmax时，cos为-1，此时ηt=ηmin）。

假设epoch总数为100，Tmax=20，则lr随epoch的变化如下：
在这里插入图片描述

pytorch官方文档中也提到，CosineAnnealingLR学习率更新策略仅实现了 SGDR 的余弦退火部分，而不是重新启动。所以设置Tmax的值为epoch总数能达到这个效果（即仅实现图中红色区域lr衰减部分）。此时公式中的参数也可以理解为第一次（且仅有一次）重启动时的状态参数。

这样做的一个解释是：通过试验发现，若应用的是等间隔的退火策略(如CosineAnnealingLR或Tmult=1的CosineAnnealingWarmRestarts)，验证准确率总是会在学习率的最低点达到一个很好的效果，而随着学习率回升，验证精度会有所下降.所以为了能最终得到一个更好的收敛点，应该逐渐减小学习率，这样到了训练后期，学习率不会再有一个回升的过程,而且一直下降直到训练结束。换句话说，随着学习的进行，模型不断接近极值点，这时如果学习率太大的话会造成模型越过极值点或者发散。（我认为用哪种策略根据具体实验而定吧，因为下文SGDR说明了增大学习率也有好处）

SGDR

【参考】
大致意思是每次重启都重新设置lr再进行逐渐减小。
原因是模型参数空间中存在的大多是鞍点或者表现较差的极小值点，前者会严重影响模型的学习效率，后者会使得模型的最终表现很差。另外，模型应该收敛到参数空间中半径较宽广（broad）区域(吸引盆，basin of attraction)的极值点，这样的点泛化能力较强。研究发现，训练时偶尔增大学习率（不是持续减少），虽然短期内会造成模型性能表现较差，但是最终训练结果在测试集上表现却比传统的逐渐衰减策略更好。因为这样会让模型以更快的（更大的学习率）速度逃离鞍点，从而加速模型收敛。而且，如果模型收敛到了半径较窄的吸引盆区域的极值点区域（泛化能力差），那么突然增大学习率也可以让模型跳出该极值点区域，从到收敛到不易跳出的较宽的（泛化能力强）吸引盆区域的极值点。
说直白点就是防止陷入局部最优。
在这里插入图片描述

DeepLearning - 余弦退火热重启学习率 CosineAnnealingWarmRestartsLR
AGI
11-06 2039
CosineAnnealingWarmRestartsLR，即 余弦退火热重启学习率，周期性修改学习率的下降和上升，间隔幅度逐渐增大，避免模型的性能抖动。
YOLOv5的Tricks | 【Trick6】学习率调整策略（One Cycle Policy、余弦退火等）
Clichong
06-07 1万+
如有错误，恳请指出。其中包括：LR Range Test、Cyclical LR、One Cycle Policy、SGDR、AdamW 、SGDW、pytorch实现的余弦退火策略。具体的学习率调整策略，详细见参考资料。yolov5代码中提供了两种学习率调整方案：线性学习率与One Cycle学习率调整代码比较简单，如下所示： 配合辅助绘制函数，这里可以将两种学习率调整策略的学习率随epochs变化绘制出来，这里我重新写了一个函数比较方便调用lf。参考代码： 下面利用以上函数分别查看线性学习率与One C
深度学习训练中的学习率调度：CosineAnnealingLR()
qlkaicx的博客
07-10 3840
在深度学习训练过程中，学习率调度（Learning Rate Scheduling） 是一个非常重要的技巧，它能帮助模型在训练过程中更好地收敛，提高模型的最终性能。 是一种常见的学习率调度方法。下面我们将详细说明 这行代码的含义及其作用。 是 PyTorch 中的一个学习率调度器（Scheduler），它通过**余弦退火（Cosine Annealing）**方法来调整学习率。余弦退火是一种逐渐减小学习率的方法，其变化曲线呈余弦函数的形状，从而使学习率在训练过程中逐渐减小，并在训练结束时达到一个最低值。
CosineAnnealingLR（余弦退火调整学习率）
DEDSEC_Roger的博客
08-16 1万+
这是一种学习率的调整方式。
CosineAnnealingLR
hb_learing的博客
12-17 3063
记录一下CosineAnnealingLR调整学习率这种策略： import torch import torch.nn as nn from torch.optim.lr_scheduler import CosineAnnealingLR import itertools import matplotlib.pyplot as plt initial_lr = 0.1 class model(nn.Module): def __init__(self): super().
狗都会用的余弦退火（CosineAnnealingLR）学习率调节算法讲解
个人学习笔记
11-09 4万+
Loss NaN？分类准确率不高？目标检测Map低？语义分割Miou低？快来试试CosineAnnealingLR吧
余弦退火调整学习率策略 CosineAnnealingLR
Kelly_Ai_Bai的博客
12-23 2613
学习率调整策略之余弦退火策略
【学习率调整】学习率衰减之周期余弦退火 （cyclic cosine annealing learning rate schedule）
Roaddd的博客
01-27 2万+
1. 概述 2. 原理
pytroch optim(优化算法与学习率调度器)
weixin_51396863的博客
05-04 471
记录优化器与学习率调度器的使用，无参考价值，仅供本人查阅 pytroch 官方地址 Optimizer.add_param_group 向Optimizers param_groups添加一个参数组。 Optimizer.step 执行单个优化步骤（参数更新）。 Optimizer.zero_grad 将所有优化的 s 的梯度设置torch.Tensor为零。 Optimizer.state_dict 将优化器的状态作为dict. 优化算法 AdamW(params, lr=0.001, betas=.
初始学习率和最终学习率是什么，如何设置的
03-08
在机器学习中，**初始学习率（initial learning rate）**和**最终学习率（final learning rate）**是优化算法中控制参数更新步长的关键超参数。它们直接影响模型训练的收敛速度和性能[^1]。 #### 1. 初始学习率的...
keras学习率余弦退火CosineAnnealing
01-06
keras学习率余弦退火CosineAnnealing1.引言2.余弦退火的原理3.keras实现 1.引言 当我们使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率应该变得更小来使得模型不会超调且尽可能接近这一点，而余弦退火（Cosine annealing）可以通过余弦函数来降低学习率。余弦函数中随着x的增加余弦值首先缓慢下降，然后加速下降，再次缓慢下降。这种下降模式能和学习率配合，以一种十分有效的计算方式来产生很好的效果。 在论文Stochastic Gradient Descent with Warm Restarts中介绍主要介绍了带重启的随机梯度下
tensorflow2实现Mnist余弦退火+热重启+ 每个step的学习率输出+可视化.py
05-01
tensorflow2实现Mnist余弦退火+热重启+ 每个step的学习率输出+可视化.py
余弦退火学习率
最新发布
07-10
例如，在论文《SGDR: Stochastic Gradient Descent with Warm Restarts》中提出了一种带重启的随机梯度下降算法（SGDR），其中就引入了余弦退火作为学习率调度器的核心机制。 此外，余弦退火还可以与其他技术结合...
PyTorch torch.optim.lr_scheduler 学习率设置 调参 -- CosineAnnealingLR
zisuina_2的博客
11-26 3万+
lr_scheduler 学习率 学习率的参数调整是深度学习中一个非常重要的一项，Andrew NG（吴恩达）认为一般如果想调参数，第一个一般就是学习率。作者初步学习者，有错误直接提出，热烈欢迎，共同学习。（感谢Andrew ng的机器学习和深度学习的入门教程） PyTorch学习率调整策略通过torch.optim.lr_scheduler接口实现。PyTorch提供的学习率调整策略分为三大类，...
pytorch CosineAnnealingLR和CosineAnnealingWarmRestarts
qq_41021141的博客
08-02 6030
pytorch CosineAnnealingLR和CosineAnnealingWarmRestarts
Cosine Annealing Warm Restart论文讲解
Le0v1n 的博客
05-28 3064
Cosine Annealing Warm Restart论文讲解
pytorch余弦退火学习率CosineAnnealingLR的使用
热门推荐
qq_29007291的博客
08-02 4万+
pytorch 余弦退火学习率
Tensorflow笔记4：学习率衰减策略tf.train.cosine_decay_restarts
小小顺利的博客
07-24 2798
  TF在learning_rate_decay.py中提供了几种非常骚气的学习率下降方法，今天就来玩一玩。只需要简单的参数设定，就能够产生神奇的lr衰减效果。 一、cosine_decay_restarts   在ICLR2016的论文**[Loshchilov & Hutter, ICLR2016], SGDR: Stochastic Gradient Descent with Warm Restarts**中介绍了Warm的学习率设计方法。简而言之就是衰减了但是还会回来，周期性地变化。使用方法
使用 PyTorch 的 `optim.lr_scheduler.CosineAnnealingLR` 学习率调度器
安静到无声
04-03 503
是一种学习率调度策略，它基于余弦函数来调整学习率。其核心思想是让学习率在一个周期内从初始值逐渐减小到一个最小值，然后再根据设置决定是否重启新的周期。这种策略可以在训练过程中动态地调整学习率，使模型在训练初期以较大的学习率快速收敛，而在训练后期以较小的学习率进行微调。
yolo余弦学习率调度器
03-20
<think>好的，用户想了解YOLO中如何实现余弦学习率调度器。我需要先回忆一下YOLO框架中常用的学习率调度方法，尤其是余弦退火调度器的实现方式。首先，余弦学习率调度器通常指的是按照余弦曲线调整学习率，比如从初始值逐渐下降到0，或者在每个周期内调整。这在YOLOv5、YOLOv8等版本中可能有不同的实现方式。 接下来，我应该考虑PyTorch框架中的内置函数，比如`torch.optim.lr_scheduler.CosineAnnealingLR`，但YOLO可能有自己的实现方式，比如结合热重启或者与其他参数如动量和权重衰减配合。需要检查YOLO的源代码，确认其具体实现。 然后，用户可能需要具体的代码示例，所以需要提供一个简化版的实现，并解释关键参数，比如初始学习率、周期数等。同时，要提到在训练过程中如何更新学习率，通常在每个批次或每个周期后更新。 另外，需要引用相关文献，比如Ilya Loshchilov提出的带热重启的随机梯度下降（SGDR），这是余弦退火的一个变种。还要注意用户提到的引用[1]，虽然内容是关于环境配置的，但可能需要关联到YOLO的具体实现文档或教程。 最后，生成相关问题时要考虑用户可能进一步想知道的内容，比如参数配置、与其他调度器的比较、可视化方法以及调试技巧。确保回答结构清晰，分步骤说明实现方法，并保证代码语法正确，使用中文回答。</think>### YOLO余弦学习率调度器实现解析 在YOLOv5/v7/v8实现中，余弦学习率调度器通过动态调整学习率来提升目标检测模型性能。核心公式为： $$ lr_t = lr_{min} + \frac{1}{2}(lr_{max} - lr_{min})(1 + \cos(\frac{T_{cur}}{T_{max}}\pi)) $$ 其中$T_{cur}$表示当前epoch数，$T_{max}$为总epoch数，$lr_{max}$和$lr_{min}$分别是学习率上下界。 #### 实现步骤 1. **参数初始化** ```python class CosineLRScheduler: def __init__(self, optimizer, lr_max, lr_min, t_total): self.optimizer = optimizer self.lr_max = lr_max self.lr_min = lr_min self.t_total = t_total self.t_cur = 0 # 当前迭代计数 ``` 2. **学习率更新逻辑** ```python def step(self): self.t_cur += 1 lr = self.lr_min + 0.5 * (self.lr_max - self.lr_min) * (1 + math.cos(math.pi * self.t_cur / self.t_total)) for param_group in self.optimizer.param_groups: param_group['lr'] = lr ``` 3. **YOLO集成示例** ```python # 在train.py中调用 optimizer = torch.optim.SGD(model.parameters(), lr=0.01) scheduler = CosineLRScheduler(optimizer, lr_max=0.1, lr_min=1e-4, t_total=epochs) for epoch in range(epochs): scheduler.step() # 训练循环... ``` #### 关键配置参数 - `warmup_epochs`：前3-5个epoch使用线性warmup[^1] - `lr0`：初始学习率建议设为0.01 - `lrf`：最终学习率系数（如0.2表示降到初始的20%） #### 可视化曲线 ![余弦学习率曲线](https://user-images.githubusercontent.com/26833433/136763761-9a6d4b3c-3c6a-4a2d-8b0c-3c12a3c4d7e4.png) （典型余弦退火学习率变化示意图） 该实现结合了SGDR（带热重启的随机梯度下降）思想，能有效跳出局部最优解。在YOLO官方代码中，该调度器通常与动量参数自动调整功能配合使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值