训练中动态调整学习率lr，optimizer.param_groups

最新推荐文章于 2024-12-23 23:08:58 发布

原创最新推荐文章于 2024-12-23 23:08:58 发布 · 2.5w 阅读

96 ·

CC 4.0 BY-SA版权

Pytorch 专栏收录该内容

17 篇文章

订阅专栏

本文详细介绍了在深度学习训练过程中如何动态调整学习率的方法。包括通过新建optimizer或直接修改optimizer.param_groups来实现学习率的调整，以及动态修改学习率的具体代码示例。文章还探讨了不同方法对模型收敛的影响。

四、在训练中动态的调整学习率

'''调整学习率'''

# 新建optimizer或者修改optimizer.params_groups对应的学习率

# # 新建optimizer更简单也更推荐，optimizer十分轻量级，所以开销很小

# # 但是新的优化器会初始化动量等状态信息，这对于使用动量的优化器（momentum参数的sgd）可能会造成收敛中的震荡

# ## optimizer.param_groups:长度2的list，optimizer.param_groups[0]：长度6的字典

print(optimizer.param_groups[0]['lr'])

old_lr = 0.1

optimizer = optim.SGD([{'params': net.features.parameters()},

{'params': net.classifiter.parameters(), 'lr': old_lr*0.1}], lr=1e-5)

可以看到optimizer.param_groups结构，[{'params','lr', 'momentum', 'dampening', 'weight_decay', 'nesterov'},{……}]，集合了优化器的各项参数。

--------------------------------------------------------------------

动态修改学习率
for param_group in optimizer.param_groups:
    param_group["lr"] = lr 


得到学习率   optimizer.param_groups[0]["lr"]

我自己查看的优化器参数

# print('查看optimizer.param_groups结构：')
# i_list=[i for i in optimizer.param_groups[0].keys()]
# print(i_list)    
['amsgrad', 'params', 'lr', 'betas', 'weight_decay', 'eps']

参考链接：

https://www.cnblogs.com/hellcat/p/8496727.html

https://www.pytorchtutorial.com/pytorch-learning-rate-decay/