学习率退火/衰减

1. 定义

   • 学习率退火（Learning Rate Annealing），也称为学习率衰减（Learning Rate Decay），是一种在训练机器学习模型（特别是深度学习模型）过程中，用于调整学习率的策略。其核心思想是随着训练的进行，逐渐降低学习率的值。

2. 目的

   • 加速收敛：在训练初期，模型参数与最优解可能相差甚远。较大的学习率能让模型参数在损失函数的空间中快速移动，使模型快速学习到数据的大致模式。例如，在训练一个神经网络识别图像中的物体时，一开始使用较大学习率可以让网络快速掌握图像中不同物体的大致轮廓特征。
   • 提高精度和稳定性：当训练进行到一定阶段后，模型参数逐渐接近最优解。此时如果学习率仍然很大，可能会导致参数在最优解附近来回震荡，无法精确收敛。通过降低学习率，模型可以更精细地调整参数，稳定地收敛到最优解附近，从而提高模型的精度。例如，在训练后期，对于图像识别模型，小的学习率有助于微调神经元之间的连接权重，以更准确地识别物体的细节。

3. 常见的退火方法

   • 指数衰减（Exponential Decay）
     • 原理：学习率按照指数函数的形式下降。设初始学习率为(lr_0)，衰减率为(\gamma)（(0 < \gamma < 1)），在第(t)步（或第(t)个训练周期）的学习率(lr_t = lr_0\times\gamma^{t})。例如，若(lr_0 = 0.1)，(\gamma = 0.9)，随着训练步数(t)的增加，学习率会逐渐减小。
     • 应用场景：这种方法简单有效，适用于许多模型训练场景。特别是当模型对学习率变化不太敏感，且希望学习率在整个训练过程中有较为稳定的下降趋势时，指数衰减是一个不错的选择。
   • 步长衰减（Step Decay）
     • 原理：预先定义一些训练步数的间隔（称为步长），当训练达到这些步长时，学习率按照一定比例下降。例如，初始学习率为(0.1)，每经过10000步，学习率就乘以(0.1)。这种方式使得学习率在一定阶段内保持不变，然后突然下降，就像下楼梯一样，一步一步地降低。
     • 应用场景：适用于训练过程中有明显阶段划分的情况。比如在训练深度神经网络时，如果知道模型在某些阶段（如经过特定轮次的预训练后）需要更精细地调整参数，就可以使用步长衰减来降低学习率。
   • 余弦退火（Cosine Annealing）
     • 原理：学习率的衰减遵循余弦函数的形状。设训练总周期为(T)，初始学习率为(lr_0)，在第(t)个周期的学习率(lr_t = lr_0\times\frac{1 + \cos(\frac{t\pi}{T})}{2})。学习率会从初始值开始，先缓慢下降，然后在接近训练结束时快速下降。
     • 应用场景：这种方法可以在训练初期给予模型足够的探索空间，同时在后期能够快速收敛。它在一些对学习率变化较为敏感的模型训练中表现出色，例如在生成对抗网络（GAN）的训练中，余弦退火可以帮助生成器和判别器更好地达到平衡。