网络训练前需要热身（warm-up）？

什么是warm-up        

        在网络学习的初期，我们会将学习率会是一个非常小的值，然后再慢慢地增长到我们设定的初始的学习率，然后再将学习率按照我们正常的学习过程慢慢地降低。前期学习率从非常小的值到我们设定的学习率的值的过程我们称之为“warm-up”

为什么要设置warm-up？

        主要是为了解决初始学习率过大导致训练不稳定问题。