深度学习优化函数详解（4）-- momentum 动量法

最新推荐文章于 2025-10-06 00:23:23 发布
原创 最新推荐文章于 2025-10-06 00:23:23 发布 · 4.1w 阅读 · 239 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文通过生动的比喻和直观的图表介绍了动量法在深度学习优化中的应用原理。动量法模仿小球沿斜坡加速下滚的过程，利用历史梯度的方向和大小，通过累积动量来加速神经网络的训练收敛速度。

深度学习优化函数详解系列目录

本系列课程代码，欢迎star：
https://github.com/tsycnh/mlbasic

深度学习优化函数详解（0）-- 线性回归问题
深度学习优化函数详解（1）-- Gradient Descent 梯度下降法
深度学习优化函数详解（2）-- SGD 随机梯度下降
深度学习优化函数详解（3）-- mini-batch SGD 小批量随机梯度下降
深度学习优化函数详解（4）-- momentum 动量法
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG)
深度学习优化函数详解（6）-- adagrad

本文延续该系列的上一篇 深度学习优化函数详解（3）-- mini-batch SGD 小批量随机梯度下降

如果把梯度下降法想象成一个小球从山坡到山谷的过程，那么前面几篇文章的小球是这样移动的：从A点开始，计算当前A点的坡度，沿着坡度最大的方向走一段路，停下到B。在B点再看一看周围坡度最大的地方，沿着这个坡度方向走一段路，再停下。确切的来说，这并不像一个球，更像是一个正在下山的盲人，每走一步都要停下来，用拐杖来来探探四周的路，再走一步停下来，周而复始，直到走到山谷。而一个真正的小球要比这聪明多了，从A点滚动到B点的时候，小球带有一定的初速度，在当前初速度下继续加速下降，小球会越滚越快，更快的奔向谷底。momentum 动量法就是模拟这一过程来加速神经网络的优化的。

后文的公式推导不加特别说明都是基于 mini-batch SGD 的，请注意。

公式推导

更多实验数据背景及模型定义请参看该系列的前几篇文章。

这里写图片描述

上图直观的解释了动量法的全部内容。
A为起始点，首先计算A点的梯度 ∇ a \nabla a ∇a ,然后下降到B点，
θ n e w = θ − α ∇ a \theta_{new} = \theta - \alpha\nabla a θnew​=θ−α∇a
θ \theta θ 为参数 α \alpha α 为学习率。
到了B点需要加上A点的梯度，这里梯度需要有一个衰减值 γ \gamma γ ,推荐取0.9。这样的做法可以让早期的梯度对当前梯度的影响越来越小，如果没有衰减值，模型往往会震荡难以收敛，甚至发散。所以B点的参数更新公式是这样的：
v t = γ v t − 1 + α ∇ b v_t = \gamma v_{t-1} + \alpha \nabla b vt​=γvt−1​+α∇b
θ n e w = θ − v t \theta_{new} = \theta - v_t θnew​=θ−vt​
其中 v t − 1 v_{t-1} vt−1​ 表示之前所有步骤所累积的动量和。
这样一步一步下去，带着初速度的小球就会极速的奔向谷底。

实验

由于样本数量较少，动量的实验未使用SGD，每一次更新loss使用全部数据
这里写图片描述
学习率 α = 0.01 \alpha = 0.01 α=0.01，衰减率 γ = 0.9 \gamma = 0.9 γ=0.9
对比Gradient Descent
这里写图片描述

仔细看右上角的等高线图就可以看见，momentum方法每一步走的都要更远一些。由于累加了动量，会带着之前的速度向前方冲去。比如一开始loss冲入了山谷，由于有之前的动量，继续朝着对面的山坡冲了上去。随着动量的更新，慢慢地最终收敛到了最小值。

注：对比图可能看起来GD算法要好于momentum方法，这仅仅是由于数据集比较简单。本文旨在从理论和实际实验中去学习momentum方法，不对结果对比做太多讨论。实验的结果往往和数据集、参数选择有很大关系。

本文实验代码：https://github.com/tsycnh/mlbasic/blob/master/p4 momentum.py

【深度学习】优化函数:梯度下降、momentum、Ada grad、RMS Prop、Ada delta
q742971636的博客
04-17 1774
视频：https://www.bilibili.com/video/BV1M64y187qX?spm_id_from=333.999.0.0 文章目录梯度下降 梯度下降
机器学习中几种优化算法的比较（SGD、Momentum、RMSProp、Adam）
weixin_34235105的博客
03-30 475
有关各种优化算法的详细算法流程和公式可以参考【这篇blog】，讲解比较清晰，这里说一下自己对他们之间关系的理解。 BGD 与 SGD 首先，最简单的 BGD 以整个训练集的梯度和作为更新方向，缺点是速度慢，一个 epoch 只能更新一次模型参数。 SGD 就是用来解决这个问题的，以每个样本的梯度作为更新方向，更新次数更频繁。但有两个缺点： 更新方向不稳定、波动很大。因为单个样本有很大的随机性，单...
动量法
weixin_34162695的博客
12-18 865
之前有讨论过梯度下降法： 参数迭代 于是会产生问题，学习参数过小，模型很难到达最优点，而参数过大，某个参数会发散。 小批量随机梯度下降也讨论过了（线性回归的公式如下）： 那么动量法呢？ 简单地将梯度下降公式增加一个动量V，迭代公式如下： %matplotlib inline from mxnet import nd import numpy ...
深度学习简介（Deep Learning）
最新发布
A5522000的博客
10-06 1354
深度学习（Deep Learning）是机器学习的分支，是一种以人工神经网络为架构对数据进行特征学习的算法。深度学习中的形容词“深度”是指在网络中使用多层。深度学习核心思想是通过模仿人脑的神经网络来处理和分析复杂的数据，从大量数据中自动提取复杂特征，擅长处理高维数据，如图像、语音和文本。
【从零开始学习深度学习】39. 梯度下降优化之动量法介绍及其Pytorch实现
阿旭的博客
01-09 1423
【从零开始学习深度学习】39. 梯度下降优化之动量法介绍及其Pytorch实现
momentum公式
weixin_33851604的博客
08-15 1135
momentum对于w的更新公式： http://caffe.berkeleyvision.org/tutorial/solver.html
深度学习优化算法实现(Momentum, Adam)
萝卜地里的兔子的博客
08-19 3164
目录Momentum初始化更新参数Adam初始化更新参数 除了常见的梯度下降法外，还有几种比较通用的优化算法；表现都优于梯度下降法。本文只记录完成吴恩达深度学习作业时遇到的Momentum和Adam算法，而且只有简要的代码。具体原理请看深度学习优化算法解析(Momentum, RMSProp, Adam),比较具体的说明了吴恩达版本的三种优化算法的讲述！ Momentum 初始化 def init...
深度学习优化函数详解（1）-- Gradient Descent 梯度下降法
史丹利复合田的博客
07-23 1万+
深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题 深度学习优化函数详解（1）– Gradient Descent 梯度下降法 深度学习优化函数详解（2）– SGD 随机梯度下降 深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解（4）– momentum 动量法 深度学习优化函数详解（5）– Neste...
深度学习各种优化函数详解
热门推荐
qq_21460525的博客
04-12 3万+
深度学习中有众多有效的优化函数，比如应用最广泛的SGD，Adam等等，而它们有什么区别，各有什么特征呢？下面就来详细解读一下一、先来看看有哪些优化函数BGD 批量梯度下降所谓的梯度下降方法是无约束条件中最常用的方法。假设f(x)是具有一阶连续偏导的函数，现在的目标是要求取最小的f(x) : min f(x)核心思想：负梯度方向是使函数值下降最快的方向，在迭代的每一步根据负梯度的方向更新x的值，从而求
深度学习优化函数详解（0）-- 线性回归问题
史丹利复合田的博客
07-22 1万+
深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题 深度学习优化函数详解（1）– Gradient Descent 梯度下降法 深度学习优化函数详解（2）– SGD 随机梯度下降 深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解（4）– momentum 动量法 深度学习优化函数详解（5）– Neste...
深度学习笔记之优化算法(三)动量法的简单认识
静静的学习就好
10-07 930
上一节介绍了随机梯度下降(Stochastic Gradient Descent,SGD)，本节将介绍动量法。
华为mindspore培训资料：2.深度学习优化器详解
03-24
### 华为MindSpore培训资料：深度学习优化器详解 #### 一、梯度下降算法 梯度下降算法是一种常用的优化技术，在机器学习和深度学习领域占据着核心地位。该算法通过逐步调整模型参数来最小化损失函数，进而使模型...
BP动量算法仿真
05-13
动量算法改进的BP算法matlab仿真实例，经验证。证 明一个3层的BP网络能够实现任意的连续映射,可以任意 精度逼近任何给定的连续函数 。
（转）深度学习中优化算法总结（momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam）
小C的博客
12-12 815
【时间】2018.12.12 【题目】深度学习中优化算法总结（momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam） 转载： 深度学习中优化方法——momentum、Nesterov Momentum、AdaGrad、Adadelta、RMSprop、Adam Deep Learning 最优化方法之Momentum（动量）...
【代码】优化算法BGD、SGD、Momentum、Adam算法python实现
qq_37791134的博客
05-05 957
转载：https://blog.youkuaiyun.com/yzy_1996/article/details/84618536#_309 优秀！
动量法（Momentum）
m0_51200050的博客
06-30 3154
动量法通过引入动量项，使得参数更新不仅依赖于当前的梯度，还考虑了之前梯度的累积效果，从而加速收敛并减少参数更新时的震荡。通过具体数据示例，可以清楚地看到动量法如何在每次迭代中逐步更新动量项和参数，使模型逐步逼近最优解。
深度学习中的优化（动量，RMSProp等算法）
Nick Hwong's Blogs
07-16 6951
1. 动量1.      动量使用了动量以后。假如梯度一直都是g，那么会一直在-g上不停加速，直到达到最终速度，其中步长变为，如当a=0.9时对应最大速度十倍于梯度下降算法。实际中，一开始是一个较小的值。           同时，使用动量以后，会累积之前的梯度，假如梯度发生震荡，v受到的影响可以减小。可参考吴恩达视频中关于动量的解释。2.      Nesterov动量与1中的动量相比，Nest...
深度学习优化算法大全系列2: Momentum(动量)
bitcarmanlee的博客
01-10 2244
1.Momentum要解决的问题 SGD有个问题就是收敛过程会产生震荡，这个相信大家都明白。Momentum主要解决的就是这个问题。 具体的解决思路为在SGD基础上引入一阶动量，公式可以表示如下： mt=β1⋅mt−1+(1−β1)⋅gtm_t = \beta_1 \cdot m_{t-1} + (1- \beta_1) \cdot g_tmt​=β1​⋅mt−1​+(1−β1​)⋅gt​ 其中，β1\beta_1β1​为超参数，经验值为0.9。β1\beta_1β1​越大，说明当前动量主要由以前累积的方
深度学习：算法优化之动量算法（Momentum）
m0_58475958的博客
08-01 5340
1.原理   运用物理学上的动量思想，在梯度下降的问题中引入动量项 mmm 和折扣因子 γ\gammaγ，公式为：mt=γmt+1m_t=\gamma m_{t+1}mt​=γmt+1​其中 mmm 是动量项mmm的指数加权平均后的值，γ\gammaγ表示历史梯度的影响力，也就是权重值，γ\gammaγ越大，权重越大。从直观上看，如果当前时刻的梯度与历史梯度方向趋近，这种趋势会在当前时刻加强，否则减弱。 2.指数加权平均   在分析动量算法之前，我们先来了解指数加权平均的含义。假定给一个序列，例如北京一年每
深度学习中的损失函数与优化器详解
05-10
<think>嗯，用户现在想了解深度学习中的损失函数和优化器的详细解释和使用方法。之前已经给过他们一个比较全面的回答，里面包含了各种损失函数和优化器的对比，以及它们在RNN中的应用示例。现在用户再次提问，可能希望得到更深入的信息，或者更结构化的指导。需要先回顾之前的回答，确保这次的内容不重复，同时补充更多细节。 首先，用户提到的引用资料里，引用[1]强调了损失函数和优化器的相互依赖，这一点在之前的回答中也提到过，需要再次强调两者的协同作用。引用[2]解释了损失函数如何衡量预测值和真实值的差距，这里可能需要进一步分类讨论不同类型的损失函数适用场景。引用[3]详细讨论了各种优化器的优缺点，特别是SGD和自适应方法的对比，这部分可以结合之前的建议，给出更具体的选择指南。 用户的需求是详细解释和使用指南，所以应该分模块来组织内容。可能的结构是：损失函数部分按任务类型分类，每种类型给出公式、使用场景、注意事项；优化器部分对比不同算法，适用情况，调参技巧。同时结合用户之前提到的RNN应用，可能需要添加一些实际案例或者代码示例，但用户这次的问题似乎更偏向理论，所以代码可以放在后面作为补充。 另外，用户可能希望了解如何根据具体问题选择损失函数和优化器，所以需要给出一些决策流程或选择树。例如，对于分类问题，交叉熵是首选；对于回归问题，MSE或MAE。优化器方面，如果是稀疏数据或需要快速收敛，Adam可能更好，但要注意泛化问题；如果追求稳定性和最终性能，SGD配合学习率调度更合适。 还要注意引用之前的文献，比如在解释SGD和Adam对比时，引用用户提供的资料中的观点，如引用[3]提到的SGD训练时间长但结果可靠，而自适应方法适合复杂网络。同时需要结合之前回答中的引用标识，如[^1]、[^3]等，确保文献引用的一致性。 最后，用户可能希望得到一些常见问题的解答或使用中的注意事项，比如过拟合时的损失函数调整，优化器参数设置等。这部分可以放在最后作为使用技巧，帮助用户解决实际问题。 总结下来，回答的结构应该是： 1. 损失函数详解（分类、回归、序列任务） 2. 优化器对比（SGD、Adam、RMSprop等） 3. 联合使用指南（如何选择组合，调参技巧） 4. 常见问题与解决方案 5. 代码示例（可选） 需要确保每个部分都包含公式、适用场景、优缺点和引用来源。同时语言要清晰，避免过于技术化，让不同层次的读者都能理解。可能还需要检查是否有最新的优化器或损失函数没有提到，比如Nadam或SWATS，但用户提供的引用中没有提到这些，所以可能不需要扩展太多，保持原有结构的基础上深化内容即可。</think>### 深度学习中的损失函数与优化器详解及使用指南 --- #### 一、损失函数：核心功能与分类选择 损失函数（Loss Function）是模型性能的“指南针”，量化预测值与真实值的偏差，直接影响参数更新方向。以下按任务类型分类详解： ##### 1. **回归任务** - **均方误差（MSE）** $$ L = \frac{1}{n}\sum_{i=1}^n (y_i - \hat{y}_i)^2 $$ - **特点**：对异常值敏感，适用于数据分布均匀的场景（如房价预测）[^1]。 - **改进**：改用平均绝对误差（MAE）$$ L = \frac{1}{n}\sum_{i=1}^n |y_i - \hat{y}_i| $$ 可降低异常值影响[^2]。 ##### 2. **分类任务** - **交叉熵损失（Cross-Entropy）** $$ L = -\sum_{i=1}^n y_i \log(\hat{y}_i) $$ - **适用场景**：多分类问题（如文本分类、图像识别）[^1][^3]。 - **变体**： - **加权交叉熵**：类别不平衡时，为罕见类别分配更高权重。 - **Focal Loss**：降低易分类样本权重，缓解类别不均衡问题（常用于目标检测）。 ##### 3. **序列任务（RNN/LSTM/Transformer）** - **逐时间步损失求和**： 对序列中每个位置计算损失后累加，例如文本生成任务中逐词计算交叉熵[^3]。 $$ L = \sum_{t=1}^T L_t $$ - **注意点**：长序列训练可能因梯度消失/爆炸导致损失震荡，需结合优化器调整[^1]。 --- #### 二、优化器：算法对比与调参策略 优化器通过梯度下降法更新参数，核心目标是高效收敛且避免局部最优。主要算法对比： | 优化器 | 核心公式 | 适用场景 | 注意事项 | |--------------|--------------------------------------------------------------------------|-----------------------------------|-----------------------------------| | **SGD** | $$ \theta_{t+1} = \theta_t - \eta \nabla_\theta L $$ | 凸优化、小批量数据、需稳定收敛[^3] | 需手动调学习率，易困于鞍点[^3] | | **Adam** | $$ \theta_{t+1} = \theta_t - \eta \frac{m_t}{\sqrt{v_t} + \epsilon} $$ | 非凸优化、大数据集、快速收敛[^3] | 自适应学习率可能导致后期震荡 | | **RMSprop** | $$ \theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{E[g^2]_t} + \epsilon} g_t $$ | 非平稳目标（如RNN时序建模）[^1] | 需调整衰减率$\gamma$（默认0.9）[^3] | ##### **优化器选择指南** 1. **任务类型决定基准选择**： - **图像分类（CNN）**：优先Adam（快速收敛）。 - **机器翻译（RNN/Transformer）**：优先SGD或RMSprop（长序列稳定性更优）[^1]。 2. **数据特征影响调参**： - **稀疏数据**：使用自适应优化器（Adam、Adagrad），避免手动调学习率[^3]。 - **小数据集**：SGD配合动量（Momentum）可提升泛化能力。 ##### **调参技巧** - **学习率设置**： - Adam初始学习率通常设为$0.001$，SGD设为$0.01 \sim 0.1$[^3]。 - 使用学习率调度（如`ReduceLROnPlateau`）动态调整。 - **梯度裁剪（Gradient Clipping）**： 限制梯度最大值，防止RNN训练中的梯度爆炸[^1]。 ```python torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) ``` --- #### 三、联合应用：损失函数与优化器的协同设计 ##### 1. **分类任务实例（PyTorch）** ```python # 定义模型、损失函数、优化器 model = Transformer(num_classes=10) criterion = nn.CrossEntropyLoss(weight=class_weights) # 加权交叉熵 optimizer = torch.optim.AdamW(model.parameters(), lr=0.001, weight_decay=0.01) # 添加L2正则 # 训练循环 for inputs, labels in dataloader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) # 梯度裁剪 optimizer.step() ``` ##### 2. **回归任务调优策略** - **损失函数选择**： - 数据含噪声时用MAE，平滑数据用MSE。 - **优化器组合**： - 使用SGD配合余弦退火（Cosine Annealing）学习率，提升收敛稳定性[^3]。 --- #### 四、常见问题与解决方案 1. **损失值震荡不收敛** - **检查点**： - 学习率过大 → 逐步降低学习率或使用自适应优化器。 - 梯度爆炸 → 应用梯度裁剪（如设置`max_norm=5.0`）[^1]。 2. **模型过拟合** - **改进方法**： - 损失函数中增加L2正则项：$$ L = L_{\text{原始}} + \lambda \sum \theta_i^2 $$ - 优化器使用AdamW（解耦权重衰减与梯度更新）。 3. **训练速度过慢** - **加速策略**： - 切换为Adam或Nadam（Nesterov加速的Adam）。 - 增大批量大小（Batch Size）并同步调整学习率[^3]。 --- ### 代码示例：RNN时间序列预测 ```python import torch import torch.nn as nn # 定义模型与损失函数 class RNN_Model(nn.Module): def __init__(self, input_size, hidden_size): super().__init__() self.rnn = nn.GRU(input_size, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, 1) # 预测单变量 def forward(self, x): out, _ = self.rnn(x) return self.fc(out[:, -1, :]) # 取最后一个时间步输出 model = RNN_Model(input_size=3, hidden_size=128) criterion = nn.MSELoss() # 回归任务用MSE optimizer = torch.optim.RMSprop(model.parameters(), lr=0.005) # 训练流程 for epoch in range(100): for seq, target in train_loader: optimizer.zero_grad() pred = model(seq) loss = criterion(pred, target) loss.backward() nn.utils.clip_grad_value_(model.parameters(), 10.0) # 梯度值裁剪 optimizer.step() ``` --- ### 关键结论 1. **损失函数**需根据任务类型（回归/分类/生成）和数据特性（噪声、不平衡性）选择。 2. **优化器**的核心矛盾是收敛速度与泛化性能：Adam类适合快速实验，SGD类适合最终调优[^3]。 3. **联合调参**时，正则化、学习率调度与梯度管理缺一不可，需通过实验验证组合效果。
评论 17
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值