[Caffe]:关于lr_policy

Caffe学习率策略解析

最新推荐文章于 2022-05-04 09:52:13 发布

翻译最新推荐文章于 2022-05-04 09:52:13 发布 · 2.2k 阅读

文章标签：

#caffe

Caffe 专栏收录该内容

24 篇文章

订阅专栏

本文详细介绍了Caffe中各种学习率策略，包括fixed、step、exp、inv、multistep、poly及sigmoid等，解释了每种策略的数学表达式，并说明了如何通过solver.prototxt文件设置相关参数。

部署运行你感兴趣的模型镜像

在caffe.proto里面，有关于learning rate policy的描述，介绍了如下几种策略：

  // The learning rate decay policy. The currently implemented learning rate
  // policies are as follows:
  //    - fixed: always return base_lr.                               固定学习率
  //    - step: return base_lr * gamma ^ (floor(iter / step))         每隔固定迭代次数衰减学习率
  //    - exp: return base_lr * gamma ^ iter                          根据迭代次数衰减学习率
  //    - inv: return base_lr * (1 + gamma * iter) ^ (- power)        
  //    - multistep: similar to step but it allows non uniform steps defined by
  //      stepvalue                                                   允许非固定步长衰减
  //    - poly: the effective learning rate follows a polynomial decay, to be
  //      zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)   多项式衰减
  //    - sigmoid: the effective learning rate follows a sigmod decay
  //      return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))  sigmoid函数衰减         
  //
  // where base_lr, max_iter, gamma, step, stepvalue and power are defined
  // in the solver parameter protocol buffer, and iter is the current iteration. base_lr,max_iter,gamma,step,stepvalue和power都可以在solver.prototxt里面设置