Transformer——Q129 证明Adam优化器中偏差修正（Bias Correction）项的数学必要性

该问题归类到Transformer架构问题集——训练与优化——优化器。请参考LLM数学推导——Transformer架构问题集。

1. 问题背景

在大语言模型（LLM）的训练进程中，优化器的选择与性能对模型的训练效果起着决定性作用。训练 LLM 的目标是让模型能够基于大量文本数据学习到语言的模式、语义等信息，以实现诸如文本生成、问答等任务。而优化器的职责就是在模型训练时，指引模型参数沿着合适的方向和步长更新，从而最小化损失函数。

Adam（Adaptive Moment Estimation）优化器凭借其出色的性能，成为了 LLM 训练中的常用选择。它巧妙地融合了动量（Momentum）和自适应学习率（Adaptive Learning Rate）的特性。以文本生成任务为例，在训练一个基于 Transformer 架构的语言模型生成故事时，模型需要根据前文的语义和语法信息，不断调整参数以生成合理的后续内容。Adam 优化器能够根据每次计算得到的梯度，灵活地调整每个参数的更新步长，使得模型能够更高效地学习到语言的规律。

然而，Adam 优化器在初始化阶段存在一个潜在问题。在训练开始时，Adam 优化器对一阶矩估计（梯度的均值）和二阶矩估计（梯度的未中心化方差）通常初始化为 0 向量。这就好比在一个新的旅程开始时，我们对前方的路况和行进速度的估计是零。随着训练的推进，通过指数加权移动平均的方式来更新这些估计值。但在训练初期，由于指数加权的特性，这些估计值会明显偏向于 0，导致计算出的学习率与实际期望的学习率存在偏差。

例如，在训练一个简单的情感分类 LLM 时，假设模型在训练初期的某个批次中，梯度的真实均值较大，但由于一阶矩估计的初始偏差，计算得到的一阶矩估计值较小，进而使得基于此计算的学习率过小。这就导致模型参数更新缓慢，无法及时捕捉到文本中的情感特征，从而影响了模型的训练效率和最终性能。

2. 技术原理

Adam 优化器基础

Adam 优化器在训练过程中，会维护两个重要的指数加权移动平均：