pytorch几种learning rate的使用方式

pytorch的学习率都在torch.optim.lr_scheduler里面

使用方式基本一致，都需要和optimizer配合使用。说一下几个常用的。

StepLR

StepLR, 顾名思义，每隔多少个step，就乘以gamma衰减一次

使用方式scheduler = StepLR(optimizer, step_size = 30, gamma = 0.1, last_epoch = -1, verbose=False)

上面这个就表示每隔30个step就使得学习率变成之前的0.1倍。last_epoch表明这个更新LR的策略结束的位置，设置-1就是一直到最后。verbose意思是是否在更新lr时打印log，默认False。由于last_epoch和verbose都是可以设置的，后续就不写出来了。

当每一个epoch运行完之后记得使用scheduler.step()

MultiStepLR

与之类似的是MultiStepLR，如果你不想以固定的step更新LR，你可以自己手动设置一堆更新的节点，必须是递增的。

scheduler = MultiStepLR(optimizer, milestones=[30, 60, 120], gamma=0.1)

以上这个方式就表明在30，60和120的时候会更新lr。

ExponentialLR

与之类似的还有ExponentialLR，也是通过gamma系数变化，只是他只能每个epoch变化。
scheduler = ExponentialLR(optimizer, gamma) 相当于简化版的StepLR。

LinearLR

如果不希望