深度学习入门笔记手稿（十二）学习率衰减

学习率衰减

加快学习算法的一个办法就是随机慢慢减少学习率
在使用mini batch梯度下降算法时，最后会在一点附近摆动，并不会真正收敛，因为学习率为固定值，不同的mini batch中有噪音
但是慢慢减少学习率，在初期学习率还比较大，但是随着学习率变小，学习不长也变慢，最后会在最小值一小块区域摆动

1.可以将学习率设置为 1/（1+decay_rate*epoch_num）
decay_rate为衰减率 epoch_num为训练迭代的次数

2.学习率=学习率*(0.95的epoch_num次方)

3.学习率=学习率*k/sqrt（epoch_num）

4.离散衰减

5.手动衰减（太慢）