CS231n课程笔记6.1：优化迭代算法之SGD,Momentum,Netsterov Momentum,AdaGrad,RMSprop,Adam

最新推荐文章于 2025-06-20 10:28:55 发布
置顶 最新推荐文章于 2025-06-20 10:28:55 发布
阅读量8.4k 收藏 12
点赞数 4
CC 4.0 BY-SA版权
分类专栏： cs231n Adam RMSProp Momentum 优化算法 CS231n课程笔记 文章标签： 优化 Adam RMSProp Momentum 随机梯度下降
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/silent56_th/article/details/59680033

CS231n简介

详见 CS231n课程笔记1：Introduction。
注：斜体字用于注明作者自己的思考，正确性未经过验证，欢迎指教。

优化迭代算法

写在前面：Karpathy推荐Adam作为默认算法，如果full batch的话，在去除所有噪声的情况下尝试L-BFGS（一种二阶优化算法，详情请自行搜索）。关于优化算法的实现请参考CS231n作业笔记2.3：优化算法Momentum, RMSProp, Adam和CS231n作业笔记1.4：随机梯度下降（SGD）。

1. SGD (Simple Gradient Descent Update Stochastic gradient descent)

最简单原始的迭代算法，就是减去learning_rate*梯度值。
SGD
Stochastic的名字好像是对比于全训练集训练方法的，每次只使用训练集中的一小部分（batch），具体请参照Optimization: Stochast

最低0.47元/天 解锁文章

200万优质内容无限畅学
Momentum优化器原理与代码实例讲解
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
07-01 131
初始化动量v00v_0 = 0v0​0和学习率η\etaη。初始化参数w0w_0w0​。对于每一步迭代ttta. 计算梯度∇fwt∇fwt​。b. 更新动量vt1βvtη∇fwtvt1​βvt​η∇fwt​。c. 更新参数wt1wt−αvt1wt1​wt​−αvt1​。
Momentum优化教程
11-13
ADS版图优化仿真手册，讲解了ADS从原理图到版图转换过程，并说明了如何在版图中队结构进行优化
RMSprop与Adam算法
ChadWick的博客
02-25 2526
文章目录RMSprop算法(Root mean squre)Adam(Adaptive moment estimation) 优化算法（将RMSprop和动量梯度结合在一起）超参数的选择 RMSprop算法(Root mean squre) 其基本思想和动量梯度下降法一样，也是为了消除梯度下降时纵轴方向的摆动而尽量不太影响水平轴，然后我们使用更大的learning rate 来高效的优化模型. 这里我们使用参数w来表示水平方向 参数b来表示竖直方向 那么 RMSprop的实现过程就是： On iterat
动量法-momentum
最新发布
hbkybkzw的博客
06-20 564
动量法是一种优化梯度更新的方法，借鉴物理学中的动量概念，在梯度更新时不仅考虑当前梯度，还参考历史梯度趋势。主要分为标准动量法和指数加权平均动量法，通过引入动量系数β（通常取值0.5-0.99）来平滑梯度。该方法在多个场景具有优势：通过拐点时能利用历史梯度继续前进；在缓坡场景中标准动量法可显著加速收敛；能帮助逃离局部极小值；指数加权法可部分缓解悬崖问题；在最小值点附近能减少震荡。然而标准动量法在悬崖地形可能加剧跳跃，而指数加权法虽然平滑梯度但缓坡加速效果有限。
优化算法--momentum
zenglaoshi的博客
11-25 2411
momentum ​ 梯度下降或随机梯度下降都是目标函数在自变量当前位置下降最快的方向，然而，每次迭代都沿着最陡方向并且只考虑当前位置，会使得目标函数很容易陷入局部最小值和鞍点。 ​ 可以看到，同一位置上，目标函数在竖直方向（x2x_2x2​轴方向）比在水平方向（x1x_1x1​轴方向）的斜率的绝对值更大。因此，给定学习率，梯度下降迭代自变量时会使自变量在竖直方向比在水平方向移动幅度更大。那...
【优化算法】Momentum
weixin_43872912的博客
03-25 1415
引入一个参数自然有它的原因，那这里引入动量的原因是什么： 类似这张图，垂直方向的斜率比水平方向的斜率大很多，会导致很多没必要的偏移量，加入一下动量因子可以减少偏移量。 动量法与SGD不同的点在于，它保存了历史的梯度，就像图上画的，B点实际下降方向是A点下降方向和B点下降方向的共同决定的。 # coding=utf-8 """ 基于小批量梯度下降来实现的Momentum（动量） 参考：https://blog.csdn.net/bvl10101111/article/details/72615621 作用
【人工智能】神经网络的优化器optimizer（一）：Momentum动量优化器
师兄怎么办
05-20 1832
随机梯度下降法（SGD）是神经网络中用于优化参数的一种方法，通过沿梯度方向更新参数来最小化损失函数。然而，SGD在处理非均向函数时效率较低，容易陷入局部最小值。为解决这一问题，引入了动量优化器（Momentum），它通过引入物理中的动量概念，利用历史梯度信息调整更新方向，使得优化过程更加平滑，有助于跳出局部极小值并加快收敛速度。Momentum方法通过指数加权平均累计历史梯度，减少了震荡并提高了优化效率。在实际应用中，Momentum的公式经过简化，省略了部分计算步骤，降低了计算复杂度和代码实现难度，同时与
各种优化方法总结比较(sgd/momentum/Nesterov/adagrad/adadelta)
weixin_30419799的博客
12-18 1887
前言 这里讨论的优化问题指的是，给定目标函数f(x)，我们需要找到一组参数x，使得f(x)的值最小。 本文以下内容假设读者已经了解机器学习基本知识，和梯度下降的原理。 Batch gradient descent 梯度更新规则: BGD 采用整个训练集的数据来计算 cost function 对参数的梯度： 缺点: 由于这种方法是...
优化算法篇（二）——Momentum
小白一直白
11-12 2086
目录前言BGD 使用动量SGD 使用动量MBGD 使用动量总结 前言 Momentum是在前面简单的梯度下降上添加一个动量，从物理角度上看就是给了它一个惯性，使得在一直下落的路上，速度越来越快，而在遇到局部最优，有可能借着惯性冲出去。 优点：使得物体的震荡减弱，更快地运动到最优解 grad1=β∗grad0+(1−β)∗∂loss∂θjgrad_{1} = \beta*grad_{0} + (1- \beta)*\frac{\partial loss}{\partial\theta_{j}}grad1​
深度学习优化算法大全系列2: Momentum(动量)
bitcarmanlee的博客
01-10 2190
1.Momentum要解决的问题 SGD有个问题就是收敛过程会产生震荡，这个相信大家都明白。Momentum主要解决的就是这个问题。 具体的解决思路为在SGD基础上引入一阶动量，公式可以表示如下： mt=β1⋅mt−1+(1−β1)⋅gtm_t = \beta_1 \cdot m_{t-1} + (1- \beta_1) \cdot g_tmt​=β1​⋅mt−1​+(1−β1​)⋅gt​ 其中，β1\beta_1β1​为超参数，经验值为0.9。β1\beta_1β1​越大，说明当前动量主要由以前累积的方
深度学习：算法优化之动量算法（Momentum）
m0_58475958的博客
08-01 5229
1.原理   运用物理学上的动量思想，在梯度下降的问题中引入动量项 mmm 和折扣因子 γ\gammaγ，公式为：mt=γmt+1m_t=\gamma m_{t+1}mt​=γmt+1​其中 mmm 是动量项mmm的指数加权平均后的值，γ\gammaγ表示历史梯度的影响力，也就是权重值，γ\gammaγ越大，权重越大。从直观上看，如果当前时刻的梯度与历史梯度方向趋近，这种趋势会在当前时刻加强，否则减弱。 2.指数加权平均   在分析动量算法之前，我们先来了解指数加权平均的含义。假定给一个序列，例如北京一年每
优化算法-3：RMSProp算法和Adam算法
热门推荐
u010132497的博客
03-29 1万+
本文来自于网易云课堂 RMSProp算法 RMSProp算法全称root mean square prop算法。 从前面的例子可以知道，当我们利用梯度下降法的时候，虽然横轴也在前进，但纵轴摆动太大。假设纵轴是b横轴是w，假如我们想减弱b的幅度，加快或者不减少w的前进，RMSProp算法就可以起到这个作用。 其执行过程是这样的： 那么该算法是怎么起作用的呢？对于b方向，我们想减...
Momentum, RMSProp, Adam，自适应学习率
莲君
07-12 815
https://blog.csdn.net/willduan1/article/details/78070086 上面这篇文章讲得很好
深度学习优化算法实现(Momentum, Adam)
萝卜地里的兔子的博客
08-19 3135
目录Momentum初始化更新参数Adam初始化更新参数 除了常见的梯度下降法外，还有几种比较通用的优化算法；表现都优于梯度下降法。本文只记录完成吴恩达深度学习作业时遇到的Momentum和Adam算法，而且只有简要的代码。具体原理请看深度学习优化算法解析(Momentum, RMSProp, Adam),比较具体的说明了吴恩达版本的三种优化算法的讲述！ Momentum 初始化 def init...
妈耶，讲得好详细，十分钟彻底看懂深度学习常用优化器SGD、RMSProp、Adam详解分析
qq_41158484的博客
11-03 4902
SGD、RMSProp、Adam优化器的演变历史，分别详细分析。
深度学习优化入门：Momentum、RMSProp 和 Adam
ZJQ的博客
08-25 1730
深度学习优化入门：Momentum、RMSProp 和 Adam
参数优化-Momentum-RMSprop-Adam
alex1801
08-17 838
关于神经网络的优化，吴恩达的深度学习课程讲解得非常通俗易懂，有需要的可以去学习一下，本人只是对课程知识点做一个总结。吴恩达的深度学习课程放在了网易云课堂上，链接如下（免费）： https://mooc.study.163.com/smartSpec/detail/1001319001.htm 神经网络最基本的优化算法是反向传播算法加上梯度下降法。通过梯度下降法，使得网络参数不断收敛到全局（或者局部）最小值，但是由于神经网络层数太多，需要通过反向传播算法，把误差一层一层地从输出传播到输入，逐层地更新网络参
CS231n学习笔记——SGD、AdaGrad、RMSProp、Adam
wildridder的博客
03-22 466
CS231n学习笔记——更好的优化算法 SGD的缺点： 优化的轨迹会如图所示，因为很多函数的梯度方向并不是直接朝向最小值的，所以沿着梯度前进的时候可能会来回反复。这个问题在高维空间中更加普遍， 而且SGD很容易陷入局部最小值 而且在mini batch训练中，每次都取出一小部分数据学习梯度，导致学习到的梯度与正真的梯度有些偏差，特别是在存在噪声的数据中，这样的SGD可能需要更多时间去找到最小值点...
各种优化方法总结笔记（sgd/momentum/Nesterov/adagrad/adadelta）
大鹏的专栏
09-23 2255
http://blog.csdn.net/luo123n/article/details/48239963 别忘看评语 http://sebastianruder.com/optimizing-gradient-descent/index.html#gradientdescentvariants AdaptiveGradient (ADAGRAD)
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值