lr_scheduler.StepLR调整学习率机制

最新推荐文章于 2025-09-19 03:18:27 发布

转载最新推荐文章于 2025-09-19 03:18:27 发布 · 2k 阅读

9 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/weixin_43135178/article/details/118441368

文章标签：

#学习 #深度学习 #pytorch

深度学习专栏收录该内容

28 篇文章

订阅专栏

StepLR是PyTorch中一种学习率调度器，它按照预设的步长和衰减因子定期降低学习率。在每个step_size个epoch后，学习率会乘以gamma进行调整。例如，在示例程序中，初始学习率为0.1，每3个epoch衰减一次，衰减率为0.1。

部署运行你感兴趣的模型镜像

lr_scheduler.StepLR调整学习率机制

可以借助于torch.optim.lr_scheduler类来进行调整；torch.optim.lr_scheduler模块提供了一些根据epoch训练次数来调整学习率（learning rate）的方法。一般情况下我们会设置随着epoch的增大而逐渐减小学习率从而达到更好的训练效果。

下面介绍了一种调整策略机制：StepLR机制；

1.torch.optim.lr_scheduler.StepLR

函数原型：

class torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

更新过程：

等间隔调整学习率，调整倍数为gamma倍，调整间隔为step_size。间隔单位是step。需要注意的是，step通常是指epoch，不要弄成iteration了
参数：
- optimizer （Optimizer）：要更改学习率的优化器
- step_size（int）：每训练step_size个epoch，更新一次参数
- gamma（float）：更新lr的乘法因子
- ast_epoch （int）：最后一个epoch的index，如果是训练了很多个epoch后中断了，继续训练，这个值就等于加载的模型的epoch。默认为-1表示从头开始训练，即从epoch=1开始

实例程序：

import torch
import torch.nn as nn
from torch.optim.lr_scheduler import StepLR
import itertools
 
 
initial_lr = 0.1
 
class model(nn.Module):
    def __init__(self):
        super().__init__()
        self.conv1 = nn.Conv2d(in_channels=3, out_channels=3, kernel_size=3)
 
    def forward(self, x):
        pass
 
net_1 = model()
 
optimizer_1 = torch.optim.Adam(net_1.parameters(), lr = initial_lr)
scheduler_1 = StepLR(optimizer_1, step_size=3, gamma=0.1)
 
print("初始化的学习率：", optimizer_1.defaults['lr'])
 
for epoch in range(1, 11):
    # train
 
    optimizer_1.zero_grad()
    optimizer_1.step()
    print("第%d个epoch的学习率：%f" % (epoch, optimizer_1.param_groups[0]['lr']))
    scheduler_1.step()

运行结果：

初始化的学习率： 0.1
第1个epoch的学习率：0.100000
第2个epoch的学习率：0.100000
第3个epoch的学习率：0.100000
第4个epoch的学习率：0.010000
第5个epoch的学习率：0.010000
第6个epoch的学习率：0.010000
第7个epoch的学习率：0.001000
第8个epoch的学习率：0.001000
第9个epoch的学习率：0.001000
第10个epoch的学习率：0.000100