qq_42530301的博客

原创 Pytorch实现Warm up + 余弦退火

Pytorch实现Warm up + 余弦退火 1.Warm up 由于刚开始训练时,模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率,可能带来模型的不稳定(振荡)，选择Warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些steps内学习率较小,在预热的小学习率下，模型可以慢慢趋于稳定,等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。 2.余弦退火 当我们使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小