不同学习率下损失函数的收敛情况

如下图是不同学习率下损失函数的收敛情况

从图中我们可以看出在训练数据的不同时期，学习率对损失函数的影响是不同的，因此如果我们想提高我们的训练效果可以在训练的前期设置一个较大的学习率，然后在某一个时期降低学习率。比如我们在第n次迭代时，降低我们的学习率，然后继续训练。