PyTorch Scheduler动态调整学习率

最新推荐文章于 2025-05-05 15:13:57 发布

鱼儿也有烦恼

最新推荐文章于 2025-05-05 15:13:57 发布

阅读量1.1k

点赞数 3

分类专栏： PyTorch 文章标签： pytorch Scheduler 深度学习

本文链接：https://blog.youkuaiyun.com/weixin_48958956/article/details/137771981

版权

PyTorch 专栏收录该内容

13 篇文章

订阅专栏

本文介绍了如何在PyTorch中利用内置的lr_scheduler模块动态调整学习率，包括使用官方提供的各种预定义调度器如StepLR、CosineAnnealingLR等，以及如何自定义函数实现特定的学习率衰减策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

PyTorch动态调整学习率

PyTorch动态调整学习率

深度学习中长久以来一直存在一个令人困扰的问题，那就是如何选择适当的学习率。如果学习速率设置得过小，会导致模型收敛速度缓慢，训练时间延长；而如果学习率设置得太大，可能会导致参数在最优解附近来回波动。然而，即使我们选定了一个合适的学习率，在经过多轮训练后，仍可能出现准确率的震荡或损失不再下降等情况，这表明当前的学习率已经不能满足模型调优的需求。在这种情况下，我们可以采用适当的学习率衰减策略来改善模型的性能，从而提高精度。这种策略在PyTorch中被称为调度器（scheduler）。

1.使用官方scheduler

PyTorch已经封装了一些动态调整学习率的方法，这些方法位于torch.optim.lr_scheduler模块中，下面列出了其中一些常用的scheduler：

这些 scheduler 都是继承自_LRScheduler类。可以通过help(torch.optim.lr_scheduler)来查看这些类的具体使用方法，也可以通过help(torch.optim.lr_scheduler._LRScheduler)来查看_LRScheduler类的具体使用方法。

# 选择一种优化器
optimizer = torch.optim.Adam(...) 
# 选择上面提到的一种或多种动态调整学习率的方法
scheduler1 = torch.optim.lr_scheduler...
scheduler2 = torch.optim.lr_scheduler...
...
schedulern = torch.optim.lr_scheduler...

# 进行训练
for epoch in range(100):
    train(...)
    validate(...)
    optimizer.step()
    
# 需要在优化器参数更新之后再动态调整学习率
# scheduler的优化是在每一轮后面进行的
scheduler1.step() 
...
schedulern.step()

注：在使用官方给出的torch.optim.lr_scheduler时，需要将scheduler.step()放在optimizer.step()后面进行使用。

2.自定义scheduler

自定义 scheduler 方法是：自定义函数adjust_learning_rate来改变param_group中lr的值。

假设现在正在做实验，需要学习率每30轮下降为原来的1/10，假设已有的官方API中没有符合我们需求的，那就需要自定义函数来实现学习率的改变。

def adjust_learning_rate(optimizer, epoch):
    lr = args.lr * (0.1 ** (epoch // 30))
    for param_group in optimizer.param_groups:
        param_group['lr'] = lr

有了adjust_learning_rate函数的定义，在训练的过程就可以调用adjust_learning_rate函数来实现学习率的动态变化。

optimizer = torch.optim.SGD(model.parameters(),lr = args.lr,momentum = 0.9)
for epoch in range(100):
    train(...)
    validate(...)
    adjust_learning_rate(optimizer,epoch)