学习率改变策略

学习率在神经网络训练中可以说是最重要也是最难调的超参数，下面结合博文（https://blog.youkuaiyun.com/hacker_long/article/details/85054085）总结caffe中常见的学习率改变策略。

变化策略

caffe框架中的策略包括：fixed，step，exp，inv，multistep，poly，sigmoid。

• fixed：
  即学习率固定，这个是最简单的学习率变化策略（不变），配置文件中只需要一个参数，实际中用得比较少，原因是：为了避免跳过全局最优，当参数状态越来越逼近全局最优点时，我们应该降低学习率。

lr_policy: "fixed"
base_lr: 0.01

• step：
  在迭代固定的次数之后以一定的比例降低学习率，这个策略很常用，是一种离散的学习率变化策略简单且非常优秀。

lr_policy: "step"
base_lr: 0.01
stepsize: 10000
gamma: 0.1

• multistep：
  在迭代预设的不同次数后以一定的比例降低学习率，这个策略也很常用，也是一种离散的学习率变化策略简单且非常优秀，与step不同的是学习率发生改变的迭代次数不均匀。

lr_policy: "multistep"
gamma: 0.5
stepvalue: 10000
stepvalue: 30000
stepvalue: 60000

• exp:
  表达式为：new_lr = base_lr * (gamma^iter)，它符合指数函数的变化规律，是一种连续的学习率变化策略
  这种策略的学习率衰减非常快，gamma越大学习率衰减越慢，在caffe中以iter为指数而iter通常非常大，所以学习率衰减仍然非常快。

  
  
  

  exp变化策略中学习率随迭代次数变化曲线

• inv：
  表达式为：new_lr = base_lr * (1 + gamma * iter)^(-power)，从表达式可看出，inv中参数gamma控制曲线的下降速率，而参数power控制曲线在饱和状态下学习率达到的最低值。

  
  
  

  inv变化策略中学习率随迭代次数变化曲线

• poly:
  表达式为：new_lr = base_lr * (1 - iter / maxiter)^power，从表达式可以看出学习率曲线主要由power值控制。当power = 1时，学习率曲线为一条直线。当power < 1时，学习率曲线为凸状。当power > 1时，学习率曲线为凹状

  
  
  

  poly变化策略中学习率随迭代次数变化曲线

• sigmoid:
  表达式为：new_lr = base_lr * (1 / (1 + exp(-gamma * (iter - stepsize))))，其中，参数gamma控制学习率变化速率，gamma < 0时学习率才会下降，但是caffe中不支持。

  
  
  

  poly变化策略中学习率随迭代次数变化曲线

各策略的表现

下图为各学习策略下学习率随迭代次数变化曲线（caffe中type = sigmoid不能进行学习率下降，所以不做对比）

图片

在训练数据集大小9000，batchsize=64，可知10000次迭代时，epoch=64*10000/9000>70，在该学习率下应该已经充分训练了，实验结果如下（文中开头博主做的实验）。

精确率曲线

精确率曲线局部放大图片

总结

• step、multistep两个方法的收敛效果最好，虽然他们最离散但并不影响收敛结果
• 其次是exp、poly，这两个策略能取得和step、multistep相当的结果，但不见得比他们优秀
• inv、fixed的收敛效果最差