常见优化器总结（附原理、公式与优缺点）

优化器（Optimizer）是深度学习模型训练的核心组件之一，它决定了如何根据损失函数对模型参数进行更新。本文将总结目前常见的优化器，包括 SGD、Momentum、Adagrad、RMSprop、Adam 等，并介绍其核心思想、数学公式及优缺点。

---

1. SGD（随机梯度下降）

核心思想：
每次迭代只使用一小批数据（mini-batch）来更新参数，计算速度快。

更新公式：
$${\theta }_{t+1}={\theta }_t-\eta \cdot {\nabla }_{\theta }J(\theta )$$

优点：

• 简单高效
• 占用内存少

缺点：

• 容易陷入局部最优
• 收敛慢，对学习率敏感

---

2. SGD + Momentum（动量法）

核心思想：
在 SGD 基础上引入“动量”思想，模拟惯性加速收敛，减少震荡。

更新公式：
$$\begin{gathered} v_{t+1}=\gamma v_t+\eta {\nabla }_{\theta }J(\theta ) \\ {\theta }_{t+1}={\theta }_t-v_{t+1} \end{gathered}$$

其中 $\gamma$ 是动量因子，常取 0.9。

优点：

• 加快收敛速度
• 降低震荡

缺点：

• 参数调节（如 $\gamma$）较复杂

---

3. Adagrad

核心思想：
对每个参数采用自适应学习率，训练初期快、后期慢。

更新公式：
$$\begin{gathered} G_t=G_{t-1}+{\nabla }_{\theta }J(\theta {)}^2 \\ {\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{G_t+ϵ}}{\nabla }_{\theta }J(\theta ) \end{gathered}$$

优点：

• 自适应学习率
• 适合稀疏数据（如 NLP）

缺点：

• 学习率不断减小，容易提前停止学习

---

4. RMSprop

核心思想：
改进 Adagrad，对历史梯度平方进行指数加权平均，避免学习率过快减小。

更新公式：
$$\begin{gathered} E[g^2{]}_t=\gamma E[g^2{]}_{t-1}+(1-\gamma ){\nabla }_{\theta }J(\theta {)}^2 \\ {\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{E[g^2{]}_t+ϵ}}{\nabla }_{\theta }J(\theta ) \end{gathered}$$

优点：

• 收敛快
• 能应对非平稳目标

缺点：

• 需要调节超参数（如 $\gamma$）

---

5. Adam（Adaptive Moment Estimation，自适应矩估计）

核心思想：
结合 Momentum 和 RMSprop，分别估计一阶与二阶矩。

更新公式：
$$\begin{gathered} m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1){\nabla }_{\theta }J(\theta ) \\ {v}_t={\beta }_2{v}_{t-1}+(1-{\beta }_2)({\nabla }_{\theta }J(\theta ){)}^2 \\ {\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t},{\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t} \\ {\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{{\hat{v}}_t}+ϵ}{\hat{m}}_t \end{gathered}$$

优点：

• 学习率自适应
• 收敛快，鲁棒性好
• 参数调节较少

缺点：

• 在某些任务中可能不如 SGD 泛化好

---

🧪 6. AdamW（带权重衰减的 Adam）

核心思想：
改进 Adam 正则化方式，直接对权重衰减，效果更稳定。

更新公式：
$${\theta }_{t+1}={\theta }_t-\eta \left(\frac{{\hat{m}}_t}{\sqrt{{\hat{v}}_t}+ϵ}+\lambda {\theta }_t\right)$$

优点：

• 提升 Adam 在 Transformer、BERT 中的性能
• 更合理的权重衰减方式

缺点：

• 训练速度略慢于 Adam

---

📈 对比总结表

优化器	学习率自适应	动量机制	收敛速度	参数调节	适用场景
SGD	✘	✘	慢	简单	通用基础
SGD+Momentum	✘	✔	中	中	收敛困难时可用
Adagrad	✔	✘	前快后慢	简单	稀疏数据（NLP）
RMSprop	✔	✘	快	需调 $\gamma$	非平稳目标
Adam	✔	✔	快	稳定	大多数深度模型
AdamW	✔	✔	快	稳定	Transformer/BERT

---

📌 小结建议

• 小模型 / 简单任务：SGD + Momentum
• 稀疏特征 / NLP：Adagrad / Adam
• 图像 / Transformer 系列模型：AdamW
• 对训练速度敏感：Adam / RMSprop

---

💬 如果你觉得本文对你有帮助，欢迎点赞、收藏、转发支持！