机器学习loss函数过大应对方法Momentum and GD

深度学习优化技巧：动量法(Momentum)解析
最新推荐文章于 2025-06-23 21:22:10 发布
原创 最新推荐文章于 2025-06-23 21:22:10 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了动量法（Momentum）在梯度下降中的应用，解释了它如何帮助优化器避免局部最小值和鞍点。动量法结合了当前梯度方向与前一次更新的方向，使得参数更新不仅考虑当前梯度，还考虑历史梯度的累积影响，从而加快收敛速度并改善搜索路径。通过这种方式，即使在梯度接近于0时，动量法也能保持参数更新，有助于找到更好的全局最小值。

Batch and Momentum

Momentum方法

momentum就是动量，即loss函数在到达gradient的critical point不会直接停下来，能够直接凭借之前（较大的）gradient直接冲过critical point。

在真实的物理世界里面不会被saddle point 或者 local minima 卡住。与此类似的技术就是momentum方法。

Vanilla Gradient Descent 一般梯度下降

vanilla 仙草

 在初始点，确定一个g0，同时朝这个的反方向运动。朝gradient的反方向去update参数

                                                                  

最低0.47元/天 解锁文章
为什么Momentum可以加速训练？
优快云 精品推荐
08-08 762
它通过引入动量的概念，改进了传统的梯度下降算法，加速参数更新过程，从而在训练过程中更快地收敛并避免陷入局部极小值。通过引入动量项，动量优化器能够在训练过程中更加灵活地选择参数更新的方向和速度，从而在训练神经网络等模型时更快地收敛。动量优化器通过在参数更新中考虑之前的速度信息，使得参数更新更加平滑，从而加速训练收敛过程。与传统的梯度下降不同，动量优化器的参数更新不仅仅依赖于当前梯度，还受到之前速度的影响。在每一次迭代中，动量优化器使用当前的梯度和之前的速度来计算参数的更新量。初始时，速度被设置为零。
机器学习面试第2弹 交叉熵损失vs.平方损失+ 合页损失函数HingleLoss+ 梯度下降函数的比较GD，SGD,Momentum，Adam
efei7968的博客
03-21 1492
1.为什么要用交叉熵损失代替平方损失 为什么不用二次方代价函数 权值​和偏置​的偏导数为​ 求导过程 偏导数受激活函数的导数影响，sigmoid函数导数在输出接近0和1时非常小，会导致一些实例在刚开始训练时学习得非常慢。 为什么要用交叉熵 求导结果 这个梯度公式与激活函数对z的偏导数无关，只与激活函数作用于z后的输出与期望的输出y有关， ...
（2）机器学习任务攻略（loss太大怎么办）
BeckyWan_的博客
01-12 2645
机器学习笔记
MSE（L2损失）与MAE（L1损失）的分析
zzzz_123123的博客
02-09 6179
简单来说，MSE计算简便，但MAE对异常点有更好的鲁棒性。训练一个机器学习模型时，目标就是找到损失函数达到极小值的点。当预测值等于真实值时，这两种函数都能达到最小。 分析：MSE对误差取了平方（令e=真实值-预测值），因此若e>1，则MSE会进一步增大误差。如果数据中存在异常点，那么e值就会很大，而e²则会远大于|e|。因此，相对于使用MAE计算损失，使用MSE的模型会赋予异常点更大的权...
机器学习笔记：Momentum
qq_40206371的博客
09-19 1760
1 为什么要引入Momentum 上图代表了一个函数的等高线 使用梯度下降的话，红色的方向是我们要走的方向。蓝色和绿色分别是两个坐标轴上对应的变化方向。 这会存在一个问题，就是学习率不能太大，不然就会出现“overshoot”的问题 于是我们的梯度下降路线是一个像九曲桥一样的路径 不难发现，这样会导致收敛的速度很慢 其中，我们要优化的这个函数f，对应的hessian矩阵的最大和最小特征值的比值（我们称为condition number）越大（也就是等高线“越...
机器学习中的数学——Momentum（Gradient Descent with Momentum, GDM）
冯·诺依曼
03-08 1万+
虽然随机梯度下降仍然是非常受欢迎的优化方法，但其学习过程有时会很慢。Momentum旨在加速学习，特别是处理高曲率、小但一致的梯度，或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动。动量的效果如下图所示所示： 动量的主要目的是解决两个问题：Hessian矩阵的病态条件和随机梯度的方差。我们通过此图说明动量如何克服这两个问题的第一个。等高线描绘了一个二次损失函数（具有病态条件的Hessian矩阵）。横跨轮廓的红色路径表示动量学习规则所遵循的路径，它使该函数最小化。在该路径的
[LLM] 优化器学习笔记（GD、SGD、SGD（Momentum）、AdaGrad、RMSprop、 Adam、Muon）
Kruskual的博客
06-20 1132
本文系统梳理了梯度优化算法演进历程。从基础梯度下降（GD）到随机梯度下降（SGD），再到改进的动量法SGD和自适应学习率方法（AdaGrad、RMSprop），最终重点解析了综合性能优异的Adam优化器。特别介绍了前沿Muon优化器，其通过正交化和归一化技术提升训练稳定性与泛化能力。文中通过具体数学公式和参数更新示例，对比了各算法在收敛速度、抗震荡性等方面的特性，为深度学习优化器选择提供了实践参考。这些方法逐步解决了梯度下降中的振荡、学习率衰减等问题，体现了优化算法从粗放到精细的演进路径。
常见机器学习概念
SQL__Learning的博客
06-07 1163
损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差，度量模型一次预测的好坏。代价函数（Cost Function）=成本函数=经验风险：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均，度量平均意义下模型预测的好坏。目标函数（Object Function）=结构风险=经验风险+正则化项=代价函数+正则化项：是指最终需要优化的函数，一般指的是结构风险。正则化项（regularizer）=惩罚项（penalty term）。
机器学习中的基础问题总结
weixin_43008312的博客
03-11 1320
介绍：总结面试经常问到的一些机器学习知识点（必会🌟）
机器学习：各种优化器Optimizer的总结与比较
热门推荐
SanFancsgo的博客
04-26 14万+
优化器总结 机器学习中，有很多优化方法来试图寻找模型的最优解。比如神经网络中可以采取最基本的梯度下降法。 梯度下降法(Gradient Descent) 梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD, Gradient Descent)，随机梯度下降法(SGD, Stochastic Gradient Descent)及批量梯度下降法(BGD, B...
神经网络损失函数特别大_二值神经网络（Binary Neural Networks）最新综述
weixin_39750195的博客
11-21 1272
作者｜秦浩桐、龚睿昊、张祥国单位｜北京航空航天大学研究方向｜网络量化压缩本文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 Binary Neural Networks: A Survey，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。神经网络二值化能够最大程度地降低模型的存储占用和模型的计算量，将神经网络中原本 32 位浮...
pytorch损失函数的值过大
qq_15054345的博客
07-07 4320
最近上手pytorch，搭了一个3D版本的Alexnet模型同于对医学图像简单的进行分类，期间又踩了一个坑，损失函数的loss值在第二步就飙到了一万多，查了好几天也没查到为啥，最初是以为图像预处理部分的问题，（图像归一化方式不正确），后来发现是优化器的坑。 最初用的优化器是adam，（甚至我还想试试Nadam，可惜截至2021.7.7，pytoch好像没实现这个），然后损失函数的值就成了下面这样（真感人）： 后来看了个知乎链接(链接如下)，说图像领域的优化器最好是选择sgd+动量，试了下，结果发现还
【漫话机器学习系列】175.动量（Momentum）
IT古董
04-01 1555
在机器学习和深度学习的优化过程中，梯度下降（Gradient Descent）是一种常见的方法。它的目标是找到损失函数的最优值（通常是最小值），从而优化模型的参数。然而，标准的梯度下降方法在遇到损失函数表面复杂、多局部极小值、鞍点等问题时，可能会导致训练速度缓慢，甚至陷入局部极小值。为了解决这些问题，动量（Momentum）优化被提出。
【机器学习】Momentum梯度下降
晓峰博客笔记
04-08 2330
梯度下降是机器学习中用来使模型逼近真实分布的最小偏差的优化方法。 在普通的随机梯度下降中，参数的更新是按照如下公式进行的： W = W - αdW b = b - αdb 其中α是学习率，dW、db是cost function对w和b的偏导数。 如图，在梯度下降过程中，从某一点开始的梯度下降过程是曲折的，并不是直接走向中心点，而是需要浪费很多时间折来折去，这样的速度就会变慢，直接解决的...
机器学习——批次（Batch）与动量（Momentum）
最新发布
JXL1860的博客
06-23 1501
基本定义回顾：大的batch有平行计算加持，其实并不比小batch慢算整个epoch的时候，其实小batch，不一定算快重点讲解：GPU并行计算带来的反直觉效率如果大批次更快，我们为什么不总是用它呢？下一部分给出了颠覆性的答案：训练效果。重点讲解（一）：“带噪声的梯度”有助于优化重点讲解（二）：小批次能找到“更好”的最小值，提升泛化能力核心问题：为什么小批次训练的模型在**测试集（Test Set）**上表现更好？这涉及到模型的泛化能力。“宽阔”与“狭窄”的最小值 (Wide vs. Sharp Minim
【机器学习】验证集loss震荡（loss的其他问题）
littlemichelle
03-05 8759
训练过程中发现，train loss一直下降，train acc一直上升；但是val loss、val acc却一直震荡。loss一会上一会下，但是总体趋势是向下的。“loss震荡但验证集准确率总体下降” 如何解决？
警惕！损失Loss为Nan或者超级大的原因
lrt366的博客
07-28 5万+
转自：https://oldpan.me/archives/careful-train-loss-nan-inf 前言 训练或者预测过程中经常会遇到训练损失值或者验证损失值不正常、无穷大、或者直接nan的情况： 遇到这样的现象，通常有以下几个原因导致： 梯度爆炸造成Loss爆炸 原因很简单，学习率较高的情况下，直接影响到每次更新值的程度比较大，走的步伐因此也会大起来。如下图，过大的学...
L04_机器学习：批次(Batch)与动量(Momentum)
weixin_52096278的博客
04-09 2609
文章目录机器学习：批次(Batch)与动量(Momentum)回顾：使用Batch进行最优化Small Batch v.s. Large BatchLarge BatchSmall Batch具体训练效果对比更新时间对比不同大小的batch训练出的模型的准确率对比为什么小的Batch Size 会有比较好的结果？Small Batch在测试集上更好Small Batch更好的原因将两种方法的优点相结合动量(Momentum)具体实现Gradient Descent回顾Gradient Descent + M
李宏毅机器学习第五周_批次（batch）与动量（momentum）、自动调整学习效率
weixin_48772700的博客
06-25 1519
本文介绍了深度学习中的两个重要概念：批次（batch）和动量（momentum）。批次是将训练数据分成一组组小批量进行计算和参数更新的方法，可以提高训练效率和优化结果。动量是在梯度下降的基础上，加入上一步移动方向的结果来更新参数，可以避免在非关键点处卡住。此外，文章还介绍了自动调整学习率的方法。通过根据不同参数的梯度值来调整学习率，可以在梯度较大时减小学习率，在梯度较小时增大学习率，从而提高训练效果。具体的方法包括RMSProp和学习率衰减。最后，文章介绍了学习率衰减和热身的方法。
探索机器学习模型的局部最优点问题
在训练机器学习模型，尤其是深度学习模型时，优化算法的目的是寻找损失函数的全局最小值，这通常对应于模型参数的最佳配置。然而，在高维空间中，尤其是在参数数量巨大的神经网络中，优化算法往往容易陷入局部最小值...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

就随便学学哈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值