深度学习优化方法-AdaGrad

最新推荐文章于 2025-09-28 10:23:25 发布
原创 最新推荐文章于 2025-09-28 10:23:25 发布 · 2.9w 阅读 · 46 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #优化算法 #AdaGrad #SGD

AdaGrad是一种优化算法，用于深度学习和神经网络的参数更新。它通过累积梯度平方和来调整学习率，初期学习率较高，随迭代次数增加逐渐减小。这使得算法在早期迭代中能快速收敛，但后期可能因学习率过小而收敛缓慢。
“微信公众号”
本文文章同步更新在我的知乎专栏里面：
深度学习优化方法-AdaGrad - Microstrong的文章 - 知乎https://zhuanlan.zhihu.com/p/38298197

梯度下降算法、随机梯度下降算法（SGD）、小批量梯度下降算法（mini-batch SGD）、动量法（momentum）、Nesterov动量法有一个共同的特点是：对于每一个参数都用相同的学习率进行更新。
但是在实际应用中，各个参数的重要性肯定是不一样的，所以我们对于不同的参数要动态的采取不同的学习率，让目标函数更快的收敛。
最低0.47元/天 解锁文章
AI学习指南深度学习篇-Adagrad的数学原理
俞兆鹏的博客
09-19 878
在深度学习的领域中，优化算法在模型训练过程中扮演着至关重要的角色。随着模型的复杂度增加，选择合适的优化算法变得愈加重要。Adagrad (Adaptive Gradient Algorithm) 是一种自适应学习率的优化算法，它能够根据参数的历史梯度自适应地调整学习率。本文将深入探讨Adagrad的数学原理，包括其计算公式、历史梯度平方的积累机制、以及如何通过这些机制来实现参数的自适应学习率。
AdaGrad算法
bl128ve900的博客
08-02 9913
参考： 深度学习优化方法-AdaGradhttps://blog.youkuaiyun.com/program_developer/article/details/80756008 AdaGrad算法介绍 表示第i个参数的梯度，对于经典的SGD优化方法，参数θ的更新为： 再来看AdaGrad算法表示为： 其中，r为梯度累积变量，r的初始值为0。ε为全局学习率，需要自己设置。δ为小常数，为了...
从零开始理解Adagrad优化器：寻找深度学习中的“山谷最低点”
最新发布
2401_89629203的博客
09-28 353
Adagrad教会我们的核心思想：在深度学习的"山谷探险"中，要记住每个方向的历史经验，根据地形特点智能调整前进策略。这种"因地制宜"的智慧，使得Adagrad在处理不同特征的参数时更加高效，为后续更先进的优化器奠定了重要基础。
深度学习之AdaGrad算法
MumuziD的博客
04-02 2019
AdaGrad 算法根据自变量在每个维度的梯度值调整各个维度的学习率，从而避免统一的维度难以适应所有维度的问题。 特点： 小批量随机梯度按元素累加变量，出现在学习率的分母项中。（若目标函数有关自变量的偏导数一直都较大，那么学习率下降较快；反之亦然。） 若迭代早期下降过快 + 当前解仍然不佳，可能导致很难找到有效解。 一、算法初解 实现AdaGrad算法，使⽤的学习率为0.4。...
AdaGrad：自适应学习率下的梯度优化算法
m0_70911440的博客
12-04 1905
在深度学习中，优化算法对于模型的收敛速度和性能起着至关重要的作用。AdaGrad是一种自适应学习率的梯度优化算法，它能够根据参数梯度的历史信息自适应地调整学习率，从而有效地解决了在训练过程中学习率衰减过快或过慢的问题。本文将深入介绍AdaGrad算法的原理、优势以及在深度学习中的应用。它在这些任务中都表现出了良好的优化效果，并被广泛应用于深度学习框架中，如TensorFlow和PyTorch等。在深度学习中的各个任务和模型中，AdaGrad已被广泛使用，并呈现出优秀的优化效果。
Adagrad
weixin_37958272的博客
07-05 653
Adagrad Adagrad [3，Adaptive Subgradient Methods for Online Learning and Stochastic Optimization] 就是这样一种解决这个问题的基于梯度的优化算法：根据参数来调整学习率，对于不常见的参数给予更大的更新，而对于常见的给予更小的更新。因此，Adagrad 非常适用于稀疏数据。Dean 等人 [4，Large Scale Distributed Deep Networks] 发现 Adagrad 能够大幅提高 SGD 的鲁
2020-2-17 深度学习笔记8 - 深度学习中的优化3（自适应学习率算法-AdaGrad / RMSProp / Adam，二阶近似方法-牛顿法 / 共轭梯度 / BFGS）
weixin_42555985的博客
03-05 1053
第八章 深度学习中的优化 官网 python实现代码 2020-2-15 深度学习笔记8 - 深度学习中的优化1（与纯优化区别-基于梯度下降，神经网络优化-下降到足够小即可） 2020-2-16 深度学习笔记8 - 深度学习中的优化2（基本算法-梯度下降/动量，参数初始化策略） 自适应学习率算法（AdaGrad / RMSProp / Adam） python实现参见https://blog.cs...
深度学习优化函数详解（6）-- adagrad
热门推荐
史丹利复合田的博客
08-06 1万+
深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题 深度学习优化函数详解（1）– Gradient Descent 梯度下降法 深度学习优化函数详解（2）– SGD 随机梯度下降 深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解（4）– momentum 动量法 深度学习优化函数详解（5）– Neste...
优化算法-AdaGrad,RMSProp,AdaDelta.Adam
DevilXiao
03-13 1705
动量法利用指数加权移动平均是的自变量的更新方向一致，降低了发散的可能，但在各个维度上采用的仍然是统一的学习率，而统一的学习率可能造成难以适应所有维度的问题。本文中的这些算法将会对此做出改进。 首先看一下动量法的迭代步骤作为以下各种算法的对比： 设时间步ttt的自变量为xt\boldsymbol{x}_txt​，学习率为ηt\eta_tηt​。 在时间步000，动量法创建速度变量v0\boldsym...
adagrad
qq_43263543的博客
11-13 1464
Adagrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下： gradient比较大的时候，走的地方比较陡峭，希望步长小一点，避免走过，gradient比较小的时候，走的地方比较平缓，希望步长大一点。 ...
深度学习优化算法大全系列4:AdaGrad(Adaptive Gradient)
bitcarmanlee的博客
01-13 1640
1.参数调整 之前提到的SGD-Momentum(动量), NAG等算法，都是针对梯度的方向做相关优化，而且使用的都是一阶动量。而神经网络有许多超参数(Hyper-Parameter)，这些超参数的选择也是模型选择调优的一项重要工作，因此很多算法工程师也自己戏谑为"调参工程师"或者"调包侠"，就可以看出参数的重要性。 在经典的梯度下降中，不同的变量，采用的是一个全局的学习率。但是实际情况中，不同的变量对于目标函数的依赖不同。举个简单的例子，对于有些参数，因为特征出现次数多属于稠密特征，可能在训练开始不就以后
AdaGrad
m0_37347812的博客
06-17 201
参考：pytorch学习笔记（三十六）：AdaGrad
深度学习中的优化算法之AdaGrad
网络资源是无限的
05-14 1万+
之前在https://blog.youkuaiyun.com/fengbingchun/article/details/123955067 介绍过SGD(Mini-Batch Gradient Descent(MBGD)，有时提到SGD的时候，其实指的是MBGD)。这里介绍下自适应梯度优化算法。 AdaGrad：全称Adaptive Gradient，自适应梯度，是梯度下降优化算法的扩展。AdaGrad是一种具有自适应学习率的梯度下降优化方法。它使参数的学习率自适应，对不频繁的参数执行较大的更...
Mxnet (29): AdaGrad算法
泛泛之素
10-02 565
1. 稀疏特征和学习率 在模型训练中会有稀疏特征（很少发生的特征），在自然语言模型中常见，比如，与 “学习”相比“预处理”更加少见。同时在其他领域也会用到，例如计算广告和个性化的协同过滤。因为只有少数人感兴趣的事情很多。长尾经济很受用。 在学习率下降的情况下，我们可能最终会遇到以下情况：常见特征的参数收敛到其最佳值相当快，而对于罕见特征，在确定最佳值之前，我们仍然缺乏足够频繁地观察它们的情况。换句话说，对于频繁使用的功能，学习率降低得太慢，对于不频繁使用的功能，学习率降低得太快。 解决此问题的一种可行方法是
深度学习优化算法：AdaGrad算法
ywm_up
08-31 1854
原文链接：动手学深度学习pytorch版：7.5 AdaGrad算法 github：https://github.com/ShusenTang/Dive-into-DL-PyTorch 原论文： [1] Duchi, J., Hazan, E., & Singer, Y. (2011). Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning R
AdaGrad 优化算法
m0_73426548的博客
03-05 901
​ 是一种基于参数自适应调整学习率的优化算法，由 ​​ 等人于 2011 年提出。其核心思想是为每个参数单独调整学习率，以应对不同参数对梯度的敏感性差异，尤其适合解决稀疏数据和深层网络中的优化问题。
深度学习AdaGrad算法
我亦是行人
01-02 4741
AdaGrad算法 在一般的优化算法中，目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。 例如，假设目标函数为fff，自变量为一个二维向量[x1,x2]⊤[x_1, x_2]^\top[x1​,x2​]⊤，该向量中每一个元素在迭代时都使用相同的学习率。 例如，在学习率为η\etaη的梯度下降中，元素x1x_1x1​和x2x_2x2​都使用相同的学习率η\etaη来自我迭代： x1←x1−η∂f∂x1,x2←x2−η∂f∂x2. x_1 \leftarrow x_1 - \eta \fra
优化算法 -AdGrad算法
yingzi的技术博客
09-16 893
这已经表明，即使在无噪声的情况下，学习率的降低可能相当剧烈，我们需要确保参数能够适当地收敛。同动量法一样，AdaGrad算法需要对每个自变量维护同它一样形状的状态变量。我们可以直接使用深度学习框架中提供的AdaGrad算法来训练模型。
深度学习优化算法全面介绍与对比分析
深度学习优化算法大致可以分为基于梯度下降的方法和基于高斯分布的方法两大类。基于梯度下降的方法包括随机梯度下降（SGD）、动量优化（Momentum）、Adagrad、RMSprop、Adadelta、Adam、AdamW、AMSGrad等；基于高斯...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值