DeepLearning论文阅读笔记(一):Cyclical Learning Rates for Training Neural Networks(CLR)
论文链接论文内容关键在于两点:1.CLR提出了一种在神经网络训练中设置global learning rates的方法,用来解决手动实验去寻找最优学习率的问题,不需要额外的计算,且通常需要更少的迭代次数。它就是让学习率在迭代过程中周期性变化,而不是固定的值。2.如何去估计CLR中的超参,如周期长度(cycle length)和边界值(boundary values)。 1.Cy...
原创
2019-02-26 15:32:50 ·
2663 阅读 ·
2 评论