学习率衰减 加快学习算法的一个办法就是随机慢慢减少学习率 在使用mini batch梯度下降算法时，最后会在一点附近摆动，并不会真正收敛，因为学习率为固定值，不同的mini batch中有噪音 但是慢慢减少学习率，在初期学习率还比较大，但是随着学习率变小，学习不长也变慢，最后会在最小值一小块区域摆动 1.可以将学习率设置为 1/（1+decay_rate*epoch_num） decay_rate为衰减率 epoch_num为训练迭代的次数 2.学习率=学习率*(0.95的epoch_num次方) 3.学习率=学习率*k/sqrt（epoch_num） 4.离散衰减 5.手动衰减（太慢）
本文探讨了通过学习率衰减来提升机器学习算法效率的方法。介绍了五种学习率衰减策略，包括基于训练轮数的倒数衰减、指数衰减、平方根衰减、离散衰减及手动调整学习率。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
