AdaGrad 与 SGD的比较

最新推荐文章于 2025-11-02 14:40:20 发布
原创 最新推荐文章于 2025-11-02 14:40:20 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇博客通过代码演示了使用AdaGrad优化算法与SGD优化算法在训练过程中的区别。AdaGrad使得学习路径更为平缓，能更快找到梯度下降的最小点。文章展示了两种优化器在简单函数上的应用，并通过matplotlib绘制了结果对比图。

 

 

optimizer=SGD(0.88)

 

optimizer=AdaGrad(0.88)

可以看出，用AdaGrad方法，使得学习路径比较平缓，更快速地到达梯度最小点

 

# -*- coding: utf-8 -*-
"""
Created on Tue Jun 25 09:04:14 2019

@author: Administrator
"""
import sys, os
sys.path.append(os.pardir)
import numpy as np
from common.gradient import numerical_gradient
import matplotlib.pylab as plt

class simple:
    def __init__(self,x,y):
        self.x=x
        self.y=y     
        
    def f(self):
        z=np.sum((s

最低0.47元/天 解锁文章
深度学习_深度学习基础_常见优化器（SGD、AdaGrad、RMSProp）详解
欢迎大家关注我
08-02 7588
SGD（随机梯度下降） 随机梯度下降的优化算法在科研和工业届是很常用的。 很多理论和工程问题都能转化成对目标函数进行最小化的数学问题。 举个例子：梯度下降（Gradient Descent）就好比一个人想从高山上奔跑到山谷最低点，用最快的方式奔向最低的位置。 SGD的公式： 动量（Momentum）公式： 基本的mini-batch SGD优化算法在深度学习取得很多不错的成绩。然而也存在一些问题需解决： 选择恰当的初始学习率很困难。 学习率调整策略受限于预先指定的调整规则。 相同的学习率被应用于各个参
一个框架看懂优化算法之异同 SGD/AdaGrad/Adam
u010451638的博客
10-16 423
转自 https://zhuanlan.zhihu.com/p/32230623 Adam那么棒，为什么还对SGD念念不忘 (1) —— 一个框架看懂优化算法 机器学习界有一群炼丹师，他们每天的日常是： 拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。 不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。 机器学习也是一样，模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必
关键词解释：Adagrad（Adaptive Gradient）优化算法
最新发布
sweet_ran的博客
11-02 909
Adagrad是一种自适应学习率优化算法，通过为每个参数单独调整学习率来解决传统SGD的缺陷。它根据参数历史梯度自动调整：梯度大的参数学习率降低，梯度小的参数学习率增大。特别适合稀疏数据（如NLP词嵌入）和特征差异大的场景。优势在于自动适应不同参数的学习需求，但存在学习率单调递减的局限。后续改进算法如RMSProp和Adam解决了这一问题。核心思想可概括为"梯度大则谨慎更新，梯度小则大胆调整"。
理解深度学习各种优化策略-SGD,Adagrad,Momentum...
qq_25379821的博客
11-29 444
https://blog.youkuaiyun.com/huplion/article/details/79184338
深度学习训练之optimizer优化器（BGD、SGD、MBGD、SGDM、NAG、AdaGrad、AdaDelta、Adam）的最全系统详解
qq_23022733的博客
04-22 8015
文章目录
神经网络参数最优化的方法（SGD、Momentum、AdaGrad、Adam)
Answer3664的博客
06-25 8106
神经网络的学习的目的就是找到合适的参数使损失函数的值尽可能的小。这种寻找最优参数的过程就叫做最优化（optimization）。然而在深度神经网络中，参数的数量非常庞大，导致最优化的问题非常复杂。下面介绍四种常见的最优化的方法，并通过一个例子进行比较。 1. SGD(stochastic gradient descent) SGD即随机梯度下降法，这个方法通过梯度下降法更新参数，不过因为这里使...
[机器学习] Gradient descent (Adagrad 、 SGD)
qq_27309515的博客
09-10 662
前言   这篇文章是李宏毅的《机器学习》课程的笔记，主要目的是让我自己梳理一遍课程的内容，加深理解，找到课上没弄懂的地方，并将新的知识点与我以前的一些认知结合起来。如有写错的地方或者理解有问题的地方希望能得到纠正，欢迎相关的问题。 正文   回顾在前面线性回归处使用的梯度下降来寻找损失函数 JJJ (或记为 LLL) 最小时的参数 θ\boldsymbol\thetaθ ，我们的目标函数是： θ∗=arg⁡min⁡θJ(θ) \boldsymbol \theta^*=\arg \min_{\boldsym
部分主流优化函数讲解（SGD,AdaGrad，RMSProp,Adam）
justsolow的博客
04-09 1106
部分主流优化函数讲解（SGD,AdaGrad，RMSProp,Adam） 参考自（https://blog.youkuaiyun.com/weixin_42398658/article/details/84525917） 之所以出现了这么多的优化函数就是因为病态曲率的存在，也就是梯度下降容易进入鞍点。 这样的话我们就很容易想到牛顿法了，一阶导数指出的是运动方向的问题，二阶导数指出的就是加速度的问题。但是由于牛...
优化器SGD、adagrad,adam比较
07-17
SGD（随机梯度下降）、Adagrad和Adam是常用的优化器算法，用于在深度学习中更新模型参数以最小化损失函数。它们有不同的特点和适用场景： 1. SGD（随机梯度下降）： - 优点：简单、易于理解和实现。 - 缺点：收敛...
一个框架看懂优化算法之异同 SGD_AdaGrad_Adam - 知乎1
08-04
本篇文章将从一个通用的框架出发，探讨不同优化算法的异同，包括SGD（随机梯度下降）、SGD with Momentum、Nesterov Accelerated Gradient（NAG）以及AdaGrad等。 首先，我们设定基本的优化问题：目标函数是 ，参数...
深度学习常见优化算法，图解AdaGrad、RMSProp，Adam
鸥鹭忘机
10-14 5600
该优化算法在较为平缓处学习速率大，有比较高的学习效率，在陡峭处学习率小，在一定程度上可以避免越过极小值点。在SDG优化算法中不能自适应学习率，如图1所示，在函数的初始位置比较平缓，利用AdaGrad优化算法可以很快的到达较优点，而SGD几乎没有移动。如图2所示，初始位置比较陡峭，AdaGrad优化算法会自动调整学习率，然后顺利的到达最优点，而SGD在学习率比较大的情况下会在斜坡两边来回摆动。也就是说在当前梯度与之前梯度之间添加了权重，如果当前梯度的权重较大，那么响应速度也就更快。为常数，表示学习率。
机器学习-优化器：动量SGD、AdaGrad 以及Adam
weixin_42080490的博客
10-07 4605
上一篇博客讲了，随机梯度下降法偶尔也会失效 ，无法给出满意的训练结果 ， 并解释了原因。本文将介绍，为了改进随机梯度下降法，研究者都做了哪些改动？提出了哪些变种方法？ 各有哪些特点？ 动量（ Momentum ）方法 为了解决随机梯度下降法山谷震荡和鞍点停滞的问题，我们做一个简单的思维实验。想象一下纸团在山谷和鞍点处的运动轨迹，在山谷中纸团受重力作用沿山道滚下，两边是不规则的山壁，纸团不可避免地撞在山壁，由于质量小受山壁弹力的干扰大，从一侧山壁反弹回来撞向另一侧山壁 ，结果来回震荡地滚下 。 如果当纸团来到
常见优化器对比：梯度下降法、带动量的梯度下降法、Adagrad、RMSProp、Adam
weixin_47748259的博客
03-21 3852
优化器 ｜SGD ｜Momentum ｜Adagrad ｜RMSProp ｜Adam。
【TensorFlow】优化方法optimizer总结（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）解析（十三）
brucewong0516的博客
12-19 3万+
本文仅对一些常见的优化方法进行直观介绍和简单的比较，主要是一阶的梯度法，包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的AdaGrad, RMSProp, Adam,就能够自动调节学习速率。
深度学习 --- 优化入门二（SGD、动量(Momentum)、AdaGrad、RMSProp、Adam详解）
进击的菜鸟
11-30 4万+
另在一篇文章中，我们介绍了随机梯度下降的细节以及如何解决陷入局部最小值或鞍点等问题。在这篇文章中，我们看看另一个困扰神经网络训练的问题，即病态曲率。 虽然局部最小值和鞍点可以阻止我们的训练，但是病态曲率可以使训练减慢到机器学习从业者可能认为搜索已经收敛到次优极小值的程度。让我们深入了解病理曲率是什么。 病态曲率 考虑以下损失轮廓。                            ...
深度学习最全优化方法总结比较（SGD，SGDM,Adam,Adagrad，Adadelta，Adam）
u013385018的专栏
06-17 2万+
拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。 不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。 机器学习也是一样，模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或者模型设计的问题，很可能就是优化算法的问题。 ...
机器学习2 -- 优化器（SGD、SGDM、Adagrad、RMSProp、Adam等）
谢杨易的博客
08-27 3万+
总结下来，SGDM和Adam两大阵营的各种优化后的optimizer如下optimizer优化主要有四种方法让模型探索更多的可能，包括dropout、加入Gradient noise、样本shuffle等让模型站在巨人肩膀上，包括warn-up、curriculum learning、fine-tune等归一化 normalization，包括batch-norm和layer-norm等正则化，惩罚模型的复杂度。
深度学习中的优化算法之AdaGrad
网络资源是无限的
05-14 1万+
之前在https://blog.youkuaiyun.com/fengbingchun/article/details/123955067 介绍过SGD(Mini-Batch Gradient Descent(MBGD)，有时提到SGD的时候，其实指的是MBGD)。这里介绍下自适应梯度优化算法。 AdaGrad：全称Adaptive Gradient，自适应梯度，是梯度下降优化算法的扩展。AdaGrad是一种具有自适应学习率的梯度下降优化方法。它使参数的学习率自适应，对不频繁的参数执行较大的更...
优化方法总结：SGD，Momentum，AdaGrad，RMSProp，Adam
热门推荐
Joe的博客
08-06 11万+
1. SGDBatch Gradient Descent在每一轮的训练过程中，Batch Gradient Descent算法用整个训练集的数据计算cost fuction的梯度，并用该梯度对模型参数进行更新：Θ=Θ−α⋅▽ΘJ(Θ)\Theta = \Theta -\alpha \cdot \triangledown_\Theta J(\Theta )优点: cost fuction若为凸函数，能
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值