【机器学习】学习率策略

学习率策略

学习率策略的设置是一个枚举类型

typedef enum {
    CONSTANT, STEP, EXP, POLY, STEPS, SIG, RANDOM
} learning_rate_policy;

• 1
• 2
• 3

这是在前面就提到的。我们现在来看看，这几个有什么区别（参考caffe源码）

• CONSTANT:学习率是一个固定的值learning_rate
• STEP:是一种均匀分步策略learning_rate* gamma ^ (floor(iter / step))
• EXP:learning_rate* gamma ^ iter
• POLY:learning_rate(1 - iter/max_iter) ^ (power)
• STEPS:同STEP只是这里的scale和step是一个数组
• SIG:learning_rate ( 1/(1 + exp(-gamma * (iter - stepsize))))
• RANDOM:代码中没有考虑