笔记——学习率衰减

加快学习的一个办法就是学习率衰减。

假设你要使用 mini-batch 梯度下降法，mini-batch 数量不大，大概 64 或者 128 个样本， 在迭代过程中会有噪音，下降朝向这里的最小值，但是不会精确地收敛，所以你的算法最后在附近摆动，并不会真正收敛，因为你用的学习率是固定值，不同的 mini-batch 中有噪音。

 

但要慢慢减少学习率的话，在初期的时候，学习率还较大，你的学习还是相对较快， 但随着学习率变小，你的步伐也会变慢变小，所以最后你的曲线(绿色线)会在最小值附近的一 小块区域里摆动，而不是在训练过程中，大幅度在最小值附近摆动。

所以慢慢减少学习率的本质在于，在学习初期，你能承受较大的步伐，但当开始收敛的时候， 小一些的学习率能让你步伐小一些。

学习率衰减的两种方法：

1.

decayrate为衰减率，是你需要调整的超参数，epochnum为迭代次数，a为学习率。

2.

此时学习率呈指数下降