由于刚开始训练时,模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率,可能带来模型的不稳定(振荡)，选择Warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些steps内学习率较小,在预热的小学习率下，模型可以慢慢趋于稳定,等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。
更详细讲解请见博客 (附带代码) ：https://blog.youkuaiyun.com/sinat_36618660/article/details/99650804
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
