训练中动态调整学习率lr，optimizer.param_groups

最新推荐文章于 2025-09-08 23:11:06 发布
原创 最新推荐文章于 2025-09-08 23:11:06 发布 · 2.5w 阅读 · 96 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了在深度学习训练过程中如何动态调整学习率的方法。包括通过新建optimizer或直接修改optimizer.param_groups来实现学习率的调整，以及动态修改学习率的具体代码示例。文章还探讨了不同方法对模型收敛的影响。

四、在训练中动态的调整学习率

 

1

2

3

4

5

6

7

8

9

'''调整学习率'''

# 新建optimizer或者修改optimizer.params_groups对应的学习率

# # 新建optimizer更简单也更推荐，optimizer十分轻量级，所以开销很小

# # 但是新的优化器会初始化动量等状态信息，这对于使用动量的优化器（momentum参数的sgd）可能会造成收敛中的震荡

# ## optimizer.param_groups:长度2的list，optimizer.param_groups[0]：长度6的字典

print(optimizer.param_groups[0]['lr'])

old_lr = 0.1

optimizer = optim.SGD([{'params': net.features.parameters()},

                       {'params': net.classifiter.parameters(), 'lr': old_lr*0.1}], lr=1e-5)

 可以看到optimizer.param_groups结构，[{'params','lr', 'momentum', 'dampening', 'weight_decay', 'nesterov'},{……}]，集合了优化器的各项参数。

 

--------------------------------------------------------------------

动态修改学习率
for param_group in optimizer.param_groups:
    param_group["lr"] = lr 


得到学习率   optimizer.param_groups[0]["lr"]

我自己查看的优化器参数

# print('查看optimizer.param_groups结构：')
# i_list=[i for i in optimizer.param_groups[0].keys()]
# print(i_list)    
['amsgrad', 'params', 'lr', 'betas', 'weight_decay', 'eps']

 

参考链接：

https://www.cnblogs.com/hellcat/p/8496727.html

https://www.pytorchtutorial.com/pytorch-learning-rate-decay/   

训练中的学习率调整
weixin_42108090的博客
11-10 745
# 学习率调度程序 lr_scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=3, gamma=0.1) # 训练10个epochs num_epochs = 10 for epoch i...
深度学习技巧应用9-模型训练中学习率的调整和假数据生成技巧与总结
微学AI的博客
04-25 1878
大家好，我是微学AI，今天给大家介绍一下深度学习技巧应用9-模型训练中学习率的调整和假数据生成技巧与总结，我们在训练模型的时候，为了测试模型是否可以行，但是目前还没有标注好大量的数据，在缺乏数据的情况下，今天教大家如何生成假数据（测试数据）进行模型调试，并且教到家学习率如何调整来提高模型的性能，加快收敛的效果。
pytorch学习率设置——optimizer.param_groups、对不同层设置学习率、动态调整学习率
Chaoy6565的博客
05-02 7097
我的需求：我需要在yolov7中更改其中一层的学习率，但yolov7的学习率是随着eporch的变化动态变化的。
深度学习——调整学习率
2302_78022640的博客
09-08 1513
当任务复杂、对收敛要求特殊时，可以设计自定义学习率调整策略。return 1.0return 0.1else:在 Keras、PyTorch Lightning 等框架中，可自定义回调函数，在训练过程中动态控制学习率。如：损失振荡时降低，损失稳定时保持。把各种学习率调整方法的调用方式全部整理出来，分别给出PyTorch和两种框架的示例。这样可以一目了然，直接套用。
optimizer.param_groups中到底有什么
weixin_52218650的博客
09-29 1768
说白了，optimizer.param_groups是一个列表，装了一个字典，字典中包含keys有['params', 'lr', 'betas', 'eps', 'weight_decay', 'amsgrad']，通过字典操作可以改变其中的参数值。一般来说，用的更多的是设置PyTorch的动态学习率，通过以上调试图片，我们知道了optimizer中包含lr的超参数，所以就可以修改，以下给了一种自写的函数方法。在训练epoch的时候放置即可。话不多说，请看调试图。
【人工智能概论】 optimizer.param_groups简介
qq_44928822的博客
06-22 4068
optimizer.param_groups简介
【Pytorch】训练过程中学习率变化的几种策略
郝同学的博客
08-27 2958
一、问题背景   我们往往在训练模型的时候，学习率不能是一成不变的，大的学习率收敛快，但可能出现过拟合的情况，难以达到最优点；小的学习率收敛较慢，耗时较长，但能将loss降得更低。   因此训练全过程并不是使用一个固定值的学习速度，而是随着时间的推移让学习率动态变化，比如刚开始训练，离下山地点的最优值还很远，那么可以使用较大的学习率下的快一点，当快接近最优值时为避免跨过最优值，下山速度要放缓，即应使用较小学习率训练，具体情况下因为我们也不知道训练时的最优值。 二、解决方案   一种比较经典的策略就是warm
有关optimizer.param_groups用法的示例分析
xxmy7的博客
07-25 1万+
pytorch 1.11.0作为测试，param_groups用法探索 `optimizer.param_groups`： 是一个list，其中的元素为字典； `optimizer.param_groups[0]`：长度为7的字典，包括['**params**', '**lr**', '**betas**', '**eps**', '**weight_decay**', '**amsgrad**', '**maximize**']这7个参数； 下面用的Adam优化器创建了一个`optimizer`变量：..
pytorch中优化器optimizer.param_groups
我是天才很好
09-09 1万+
optimizer.param_groups： 是长度为2的list，其中的元素是2个字典； optimizer.param_groups[0]： 长度为6的字典，包括[‘amsgrad’, ‘params’, ‘lr’, ‘betas’, ‘weight_decay’, ‘eps’]这6个参数； optimizer.param_groups[1]： 好像是表示优化器的状态的一个字典； 参考： https://blog.csdn.net/AWhiteDongDong/article/details/1061
optimizer.param_groups含义分析
ym62033的博客
03-26 799
是一个字典，一般包括[‘params’, ‘lr’, ‘betas’, ‘eps’, ‘weight_decay’, ‘amsgrad’, ‘maximize’]等参数（不同的优化器包含的可能略有不同，而且还可以额外人为添加键值对）params就是网络中需要优化的网络参数，在这里需要注意的是传入的网络参数必须使可以迭代的对象。因为这里把整个网络看成了一个param_groups，所以这里的执行结果为：1。a.将多个网络的参数合并到一起，当成一个网络的参数来进行优化一般的赋值方式为。代码执行结果为：1。
【PyTorch】动态调整学习率 torch.optim.lr_scheduler.StepLR 调度器
码农努力学习
12-12 2226
在深度学习中，学习率调度器（Learning Rate Scheduler） 是用来动态调整学习率的工具。它的主要目的是在训练过程中自动调整学习率，以提高训练的效率和效果。之所以称其为“调度器”，是因为它控制着学习率的调整和更新，类似于调度一个过程或者任务，它按照某种策略和规则来“调度”学习率，本文将详细介绍pytorch中动态调整学习率方法之一。
代码解释 for group, lr in zip(self.optimizer.param_groups, self.lrs): _set_lr(group, lr) yield self.lrs = [_get_lr(group) for group in self.optimizer.param_groups] self.dampen()
07-30
这里，`self.optimizer.param_groups`是优化器中的参数组（每个参数组可以有不同的学习率等设置）。`self.lrs`是一个学习率列表，与参数组一一对应。 循环将每个参数组和对应的新学习率配对。 2. `_set_lr(group...
Jimn_Torch优化器中param_group学习
qq_36150763的博客
12-23 529
pytorch优化器中的属性
学习率动态调整
weixin_70068398的博客
04-04 453
学习率的动态调整策略
动态调整模型中的学习率
fly_Xiaoma的博客
03-05 1663
调整模型中学习率的方法主要有： 一种是修改optimizer.param_groups中对应的学习率 另一种是新建优化器 注意：由于optimizer十分轻量级，构建开销很小，故可以构建新的optimizer。但新建优化器会重新初始化动量等状态信息，这对使用动量的优化器来说（如带momentum的sgd），可能会造成损失函数在收敛过程中出现震荡。 首先我们建立一个LeNet网络： imp...
动态调整lr
03-05 531
pytorch网络训练过程中，动态调整学习率 可参考如下两个博文： [ pytorch ] 基本使用丨3. finetune冻结层操作 + 学习率超参数设置丨_它的专栏-优快云博客 【PyTorch】crnn-finetune模型学习率调整策略 - 灰信网（软件开发博客聚合） #不同层设置不同的学习率 train_params = list(map(id,crnn.rnn.parameters())) #20 rest_params = filter(lambda x:id(x) not in
CLIP模型的使用和训练-利用CLIP实现zero-shot的分类任务
热门推荐
weixin_42772394的博客
10-10 6万+
CLIP模型 文章目录CLIP模型@[toc]论文介绍训练阶段测试阶段优缺点官方给定的实验结果利用CLIP做分类任务识别杯子的二分类任务人脸分类（celebface）CLIP的再训练 '~/' 表示 'C:/Users/505' 论文介绍 官方网站 训练阶段 模型架构分为两部分，图像编码器和文本编码器，图像编码器可以是比如 resnet50，然后文本编码器可以是 transformer。 训练数据是网络社交媒体上搜集的图像文本对。在训练阶段，对于一个batch 的数据，首先通过文本编码器和图像编码器，得
pytorch中的Optimizer的灵活运用
杨航|自我管理
04-29 8518
pytorch可以自动求导梯度，不过要对需要求梯度的tensor设置为“requires grad = TRUE"。同时，pytorch可以对神经网络进行灵活训练，主要同通过Optimazer的设计来实现的。 以下针对不同的应用场景需要对optimizer的使用进行总结。 1. 多个神经网络联合训练 应用场景 （1）Autoencoder网络分为encoder与decoder两部分组成，...
PyTorch：模型训练-parameters和optimizer
皮皮blog
10-20 9629
迭代打印model.named_parameters()将会打印每一次迭代元素的名字和paramparam.requires_grad=False # 顺便改下属性。
optimizer.param_groups的initial_lr和lr的区别
最新发布
10-15
<think>我们正在讨论PyTorch中的优化器参数组（optimizer.param_groups）。用户询问的是在param_groups中`initial_lr`和`lr`的区别。 根据引用[2]中的代码片段： if optimizer is not None and self.max_iters - self.iter <= 1: for group in self.optimizer.param_groups: group['initial_lr'] = group['lr'] 这段代码在特定条件下（当迭代次数接近最大迭代次数时）将当前学习率（lr）赋值给initial_lr。 另外，引用[1]和[3]描述了param_groups的结构，但都没有直接提到`initial_lr`。标准情况下，当我们创建一个优化器时，参数组中通常包含的是当前学习率（lr），以及其他超参数如动量、权重衰减等。而`initial_lr`并不是优化器默认创建的字段。 因此，我们可以推断： - `lr`：是优化器参数组中的标准字段，表示当前的学习率。在训练过程中，学习率调度器（scheduler）会动态调整这个值。 - `initial_lr`：通常不是优化器初始化时自带的字段，而是在使用学习率调度器时由调度器设置的一个字段。它记录了参数组的初始学习率（即优化器创建时的学习率），以便在调度器中使用（例如，在余弦退火等调度策略中需要知道初始学习率）。 在PyTorch的学习率调度器中，例如`LambdaLR`、`CosineAnnealingLR`等，在初始化调度器时，调度器会遍历优化器的每个参数组，并将当前参数组的`lr`值保存为`initial_lr`（作为一个额外的字段添加到参数组字典中）。这样，在调度器的每一步更新中，就可以根据初始学习率来计算新的学习率。 例如，查看PyTorch的`LambdaLR`源码（https://pytorch.org/docs/stable/_modules/torch/optim/lr_scheduler.html#LambdaLR）： class LambdaLR(LRScheduler): def __init__(self, optimizer, lr_lambda, last_epoch=-1, verbose=False): ... super(LambdaLR, self).__init__(optimizer, last_epoch, verbose) # 在基类LRScheduler的__init__中，会执行以下操作： # for group in optimizer.param_groups: # group.setdefault('initial_lr', group['lr']) # 即如果参数组中没有'initial_lr'，则用当前的'lr'作为初始学习率。 所以，区别总结如下： - `lr`：当前学习率，随着训练过程动态变化。 - `initial_lr`：初始学习率，通常由学习率调度器在初始化时设置，并在整个训练过程中保持不变（除非人为修改）。 需要注意的是，如果没有使用学习率调度器，那么参数组中可能没有`initial_lr`这个字段。因此，在引用[2]的代码中，作者在特定条件下手动设置`initial_lr`，可能是为了在后续的调度中使用。 如果用户需要在自己的代码中使用`initial_lr`，建议通过调度器来设置，而不是手动添加（除非有特殊需求）。在创建调度器后，调度器会自动为每个参数组添加`initial_lr`字段。 下面是一个简单的例子说明： ```python import torch import torch.optim as optim from torch.optim import lr_scheduler model = torch.nn.Linear(10, 1) optimizer = optim.SGD(model.parameters(), lr=0.1) # 在创建调度器之前，参数组只有'lr'，没有'initial_lr' print("Before scheduler initialization:") for group in optimizer.param_groups: print(group.keys()) # 输出：dict_keys(['params', 'lr', 'momentum', 'dampening', 'weight_decay', 'nesterov']) # 注意：这里没有'initial_lr' # 创建一个调度器（以StepLR为例） scheduler = lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1) # 创建调度器后，调度器的初始化会为每个参数组设置'initial_lr'（使用当前的lr值） print("\nAfter scheduler initialization:") for group in optimizer.param_groups: print(group.keys()) # 现在应该包含'initial_lr' print(f"initial_lr: {group['initial_lr']}, lr: {group['lr']}") # initial_lr=0.1, lr=0.1 # 进行一步训练，然后更新学习率 optimizer.step() scheduler.step() # 假设更新后学习率变化（StepLR是在每个step_size周期后乘以gamma，但第一步通常不变） print("\nAfter one step:") for group in optimizer.param_groups: print(f"initial_lr: {group['initial_lr']}, lr: {group['lr']}") # initial_lr还是0.1，lr还是0.1（因为第一步未到step_size） # 假设我们进行了30步，然后再次调用scheduler.step() # 此时学习率会变为0.1 * 0.1 = 0.01 # 但initial_lr仍然是0.1 ``` 因此，结论是： - `initial_lr`是由学习率调度器设置并维护的初始学习率，用于调度计算。 - `lr`是当前的学习率，在训练过程中会被优化器和调度器更新。 如果用户没有使用调度器，那么参数组中就不会有`initial_lr`（除非像引用[2]中那样手动设置）。 相关问题： 1. 在PyTorch中，如何手动为优化器参数组添加`initial_lr`字段？ 2. 学习率调度器如何影响优化器的学习率？ 3. 在自定义学习率调度器时，是否需要设置`initial_lr`？ </think>在 PyTorch 的优化器参数组 (`optimizer.param_groups`) 中，`initial_lr` 和 `lr` 是两个相关但有区别的重要参数： ### 1. **`lr` (当前学习率)** - **定义**：表示优化器当前正在使用的实际学习率值 - **动态变化**： - 在训练过程中会被学习率调度器 (`scheduler`) 动态调整 - 例如使用 `scheduler.step()` 后会更新此值[^2] - **初始化**：创建优化器时由用户显式设置 ```python optimizer = torch.optim.SGD(model.parameters(), lr=0.1) # 初始设置lr=0.1 ``` - **访问方式**： ```python current_lr = optimizer.param_groups[0]['lr'] ``` ### 2. **`initial_lr` (初始学习率)** - **定义**：记录优化器创建时设置的原始学习率值 - **静态特性**： - 通常不会在训练过程中自动改变 - 需要手动设置才会出现在参数组中[^2] ```python # 手动设置initial_lr (通常在特定条件下) if condition: for group in optimizer.param_groups: group['initial_lr'] = group['lr'] # 将当前lr保存为initial_lr[^2] ``` - **用途**： - 作为学习率调度器的基准参考值 - 实现自定义学习率策略时作为复位锚点 - 在模型热重启(warm restart)等场景中使用 ### 关键区别总结 | 特性 | `lr` (当前学习率) | `initial_lr` (初始学习率) | |--------------|---------------------------|-----------------------------| | **是否自动存在** | 总是存在 ✓ | 需手动设置 ✗ | | **可变性** | 动态变化 (被scheduler修改) | 通常静态不变 | | **初始化** | 用户创建优化器时设置 | 需显式赋值(常取初始lr值) | | **典型用途** | 控制当前优化步长 | 作为学习率调整的基准参考 | ### 使用示例 ```python # 创建优化器 (自动设置lr) optimizer = torch.optim.Adam(model.parameters(), lr=0.01) # 手动记录初始学习率 for group in optimizer.param_groups: group['initial_lr'] = group['lr'] # 保存初始值[^2] # 训练中... scheduler.step() # 更新学习率 # 查看对比 print(f"初始学习率: {optimizer.param_groups[0]['initial_lr']}") # 0.01 print(f"当前学习率: {optimizer.param_groups[0]['lr']}") # 可能已改变 ``` ### 注意事项 1. `initial_lr` 不是 PyTorch 优化器的默认字段，需要显式创建[^2] 2. 学习率调度器内部会自动维护初始学习率副本，但不会直接写入 `param_groups` 3. 在自定义训练循环中，手动维护 `initial_lr` 有助于实现复杂的学习率策略
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值