通俗易懂讲透AdaGrad优化算法

AdaGrad:自适应学习率下的梯度优化算法 在深度学习中,优化算法对于模型的收敛速度和性能起着至关重要的作用。AdaGrad是一种自适应学习率的梯度优化算法,它能够根据参数梯度的历史信息自适应地调整学习率,从而有效地解决了在训练过程中学习率衰减过快或过慢的问题。本文将深入介绍AdaGrad算法的原理、优势以及在深度学习中的应用。它在这些任务中都表现出了良好的优化效果,并被广泛应用于深度学习框架中,如TensorFlow和PyTorch等。在深度学习中的各个任务和模型中,AdaGrad已被广泛使用,并呈现出优秀的优化效果。 阅读详情

通俗易懂讲透AdaGrad优化算法(本科生/研究生都能看懂)

本文用最直白的语言+简单案例+公式拆解,把AdaGrad从原理、计算、代码到优缺点讲清楚,不用复杂数学背景也能完全理解,适合深度学习入门与算法复习。


一、先搞懂:我们为什么需要AdaGrad?

在机器学习/深度学习里,我们要做的事很简单:
不断调整模型参数(权重),让预测误差(损失)越小越好。

最基础的方法是梯度下降:
沿着误差下降的方向,一步一步改参数,直到找到最低点。

但普通梯度下降有个大问题:
全局用一个固定学习率,所有参数步子一样大。

  • 有的参数早就快收敛了,还迈大步,容易“走过头”
  • 有的参数几乎没更新过,迈小步,学得太慢

于是就有了AdaGrad:
给每个参数单独配自适应学习率,自动调步子大小。


二、AdaGrad到底是什么?

核心一句话

AdaGrad = 自适应梯度算法
它会记录每个参数的历史梯度平方和,自动给不同参数分配学习率:

  • 梯度大、更新频繁的参数 → 学习率慢慢变小,走稳一点
  • 梯度小、更新少的参数 → 学习率保持较大,走快一点

超形象比喻

普通梯度下降:穿固定鞋码的鞋,每一步都一样大。
AdaGrad:穿智能登山鞋:

  • 坡很陡(梯度大)→ 自动缩小步伐,防止摔倒
  • 坡很平(梯度小)→ 保持大步,快速前进

三、核心公式一步步拆(超详细,不跳步)

1. 普通梯度下降(对照看)

参数更新公式:
θt+1=θt−α⋅gt\theta_{t+1} = \theta_t - \alpha \cdot g_tθt+1​=θt​−α⋅gt​

  • θ\thetaθ:要优化的参数
  • α\alphaα:固定学习率(比如0.01)
  • gtg_tgt​:当前梯度

2. AdaGrad 三步走

第1步:累积梯度平方和

记录每个参数从第1步到当前步的梯度平方总和:
Gt=Gt−1+gt2G_t = G_{t-1} + g_t^2Gt​=Gt−1​+gt2​
逐参数写法(更严谨):
Gt(j)=∑i=1t(gi(j))2G_t^{(j)} = \sum_{i=1}^t \left(g_i^{(j)}\right)^2Gt(j)​=i=1∑t​(gi(j)​)2

  • GtG_tGt​:历史梯度平方和(只会变大,不会变小)
  • gt(j)g_t^{(j)}gt(j)​:第j个参数在第t步的梯度
第2步:计算自适应学习率

用历史梯度缩放学习率:
αt(j)=αGt(j)+ϵ\alpha_t^{(j)} = \frac{\alpha}{\sqrt{G_t^{(j)} + \epsilon}}αt(j)​=Gt(j)​+ϵ​α​

  • α\alphaα:初始学习率(人工设)
  • ϵ\epsilonϵ:极小值(通常10−810^{-8}10−8),防止分母为0
第3步:更新参数

最终更新公式:
θt+1(j)=θt(j)−αGt(j)+ϵ⋅gt(j)\theta_{t+1}^{(j)} = \theta_t^{(j)} - \frac{\alpha}{\sqrt{G_t^{(j)} + \epsilon}} \cdot g_t^{(j)}θt+1(j)​=θt(j)​−Gt(j)​+ϵ​α​⋅gt(j)​

3. 公式背后的道理

  • GtG_tGt​ 越来越大 → 学习率越来越小
  • 频繁更新的参数:GtG_tGt​ 涨得快 → 学习率降得快
  • 很少更新的参数:GtG_tGt​ 涨得慢 → 学习率保持较大

四、极简计算案例(手算就能懂)

目标:最小化 f(θ)=θ2f(\theta)=\theta^2f(θ)=θ2,最优解 θ=0\theta=0θ=0

  • 初始:θ0=4\theta_0=4θ0​=4,α=0.1\alpha=0.1α=0.1,G0=0G_0=0G0​=0,ϵ=10−8\epsilon=10^{-8}ϵ=10−8

第1步迭代

  1. 梯度:g1=2×4=8g_1=2×4=8g1​=2×4=8
  2. 累积梯度平方:G1=0+82=64G_1=0+8^2=64G1​=0+82=64
  3. 自适应学习率:0.164+10−8≈0.0125\frac{0.1}{\sqrt{64+10^{-8}}}≈0.012564+10−8​0.1​≈0.0125
  4. 更新参数:θ1=4−0.0125×8=3.9\theta_1=4 - 0.0125×8=3.9θ1​=4−0.0125×8=3.9

第2步迭代

  1. 梯度:g2=2×3.9=7.8g_2=2×3.9=7.8g2​=2×3.9=7.8
  2. 累积梯度平方:G2=64+7.82=124.04G_2=64+7.8^2=124.04G2​=64+7.82=124.04
  3. 自适应学习率:0.1124.04+10−8≈0.009\frac{0.1}{\sqrt{124.04+10^{-8}}}≈0.009124.04+10−8​0.1​≈0.009
  4. 更新参数:θ2≈3.83\theta_2≈3.83θ2​≈3.83

结论

学习率越变越小,参数更新越来越稳,不会震荡。


五、代码实战:用AdaGrad训练逻辑回归

直接复制可运行,带可视化,清晰看到损失、参数、学习率变化。

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 1. 生成模拟二分类数据
np.random.seed(42)
n_samples = 2000
X = np.random.randn(n_samples, 2)
y = (X[:, 0] + X[:, 1] > 0).astype(int)

# 2. 初始化参数
w = np.random.randn(2)
b = 0
alpha = 0.1       # 初始学习率
epsilon = 1e-8    # 防除0
G_w = np.zeros(2) # 权重梯度平方和
G_b = 0           # 偏置梯度平方和

losses = []
w_updates = []
learning_rates = []

# Sigmoid函数
def sigmoid(z):
    return 1 / (1 + np.exp(-z))

# 3. 训练循环
for epoch in range(200):
    z = np.dot(X, w) + b
    pred = sigmoid(z)
    
    # 计算损失
    loss = -np.mean(y * np.log(pred + epsilon) + (1 - y) * np.log(1 - pred + epsilon))
    losses.append(loss)
    
    # 计算梯度
    error = pred - y
    grad_w = np.dot(X.T, error) / n_samples
    grad_b = np.mean(error)
    
    # 累积梯度平方
    G_w += grad_w ** 2
    G_b += grad_b ** 2
    
    # 自适应学习率
    adj_lr_w = alpha / (np.sqrt(G_w) + epsilon)
    adj_lr_b = alpha / (np.sqrt(G_b) + epsilon)
    learning_rates.append(adj_lr_w.mean())
    
    # 更新参数
    w -= adj_lr_w * grad_w
    b -= adj_lr_b * grad_b
    
    w_updates.append(w.copy())

w_updates = np.array(w_updates)

# 4. 可视化
fig, axes = plt.subplots(2, 2, figsize=(12, 10))
fig.suptitle("AdaGrad 优化过程可视化", fontsize=16)

# 数据分布
axes[0,0].scatter(X[y==0,0], X[y==0,1], c='red', alpha=0.6, label='类别0')
axes[0,0].scatter(X[y==1,0], X[y==1,1], c='blue', alpha=0.6, label='类别1')
axes[0,0].set_title("数据分布")
axes[0,0].legend()

# 损失变化
axes[0,1].plot(losses, 'purple', linewidth=2)
axes[0,1].set_title("损失随迭代变化")
axes[0,1].grid(True)

# 参数更新轨迹(3D)
ax3 = fig.add_subplot(2,2,3, projection='3d')
ax3.plot(w_updates[:,0], w_updates[:,1], range(len(w_updates)), 'g-', linewidth=2)
ax3.set_title("参数更新轨迹")
ax3.set_xlabel("w1")
ax3.set_ylabel("w2")

# 学习率热力图
sns.heatmap([learning_rates], cmap='coolwarm', annot=True, fmt='.4f', ax=axes[1,1])
axes[1,1].set_title("学习率变化热力图")
axes[1,1].set_yticks([])

plt.tight_layout()
plt.show()

六、AdaGrad 优点

  1. 自适应学习率:每个参数独立调整,不用全局固定步长
  2. 特别适合稀疏数据:NLP、推荐系统里很多特征是0,AdaGrad会给这些参数放大学习率
  3. 不用手动设学习率衰减:自动降速,省掉人工调参
  4. 凸优化表现好:线性回归、逻辑回归、SVM 用它很稳

七、AdaGrad 缺点(必看)

  1. 学习率衰减太快
    GtG_tGt​ 一直累加 → 学习率越来越小 → 后期完全不学习
  2. 不适合深度学习
    深度网络训练步数多,后期学习率趋近0,收敛不动
  3. 非凸优化容易陷局部最优
    像GAN这类任务,很难跳出局部最小值

八、适用场景 vs 不适用场景

✅ 适合用 AdaGrad

  • 稀疏数据场景:NLP、推荐系统、文本分类
  • 凸优化问题:线性/逻辑回归、SVM
  • 小数据集、短训练任务

❌ 不适合用 AdaGrad

  • 深度神经网络(CNN、RNN、Transformer)
  • 非凸优化(GAN、复杂深度模型)
  • 大规模长训练任务

九、一句话总结

AdaGrad 是自适应学习率的鼻祖,在稀疏数据与凸优化里很强,但因为学习率衰减太快,不适合深度学习。
深度学习里更推荐用它的改进版:RMSprop、Adam、Adadelta。


十、速记表格

特性AdaGrad
自适应学习率✅ 每个参数独立
稀疏数据✅ 非常适合
凸优化✅ 效果好
学习率衰减❌ 下降太快
深度学习❌ 不推荐
非凸优化❌ 容易局部最优
推荐替代RMSprop、Adam

AdaGrad优化器(理论、公式、代码实现) AdaGrad(Adaptive Gradient Algorithm)是一种自适应学习率的梯度下降算法,于2011年由Duchi等人提出。这个算法主要是为了解决标准的梯度下降算法中学习率一成不变的问题。在标准的梯度下降算法中,如果学习率过大,可能会导致算法在最小值附近震荡而不收敛;如果学习率过小,又会导致收敛速度过慢。AdaGrad算法通过自适应调整每个参数的学习率,尝试解决这个问题。 阅读详情

相关推荐

AdaGrad算法

参考: 深度学习优化方法-AdaGradhttps://blog.youkuaiyun.com/program_developer/article/details/80756008 AdaGrad算法介绍 表示第i个参数的梯度,对于经典的SGD优化方法,参数θ的更新为: 再来看AdaGrad算法表示为: 其中,r为梯度累积变量,r的初始值为0。ε为全局学习率,需要自己设置。δ为小常数,为了...

bl128ve900的博客 9972

深度学习中的优化算法之AdaGrad

之前在https://blog.youkuaiyun.com/fengbingchun/article/details/123955067 介绍过SGD(Mini-Batch Gradient Descent(MBGD),有时提到SGD的时候,其实指的是MBGD)。这里介绍下自适应梯度优化算法。 AdaGrad:全称Adaptive Gradient,自适应梯度,是梯度下降优化算法的扩展。AdaGrad是一种具有自适应学习率的梯度下降优化方法。它使参数的学习率自适应,对不频繁的参数执行较大的更...

网络资源是无限的 1万+

优化算法-AdaGrad,RMSProp,AdaDelta.Adam

动量法利用指数加权移动平均是的自变量的更新方向一致,降低了发散的可能,但在各个维度上采用的仍然是统一的学习率,而统一的学习率可能造成难以适应所有维度的问题。本文中的这些算法将会对此做出改进。 首先看一下动量法的迭代步骤作为以下各种算法的对比: 设时间步ttt的自变量为xt\boldsymbol{x}_txt​,学习率为ηt\eta_tηt​。 在时间步000,动量法创建速度变量v0\boldsym...

DevilXiao 1757

人工智能:深度学习入门到精通实战

                《人工智能:深度学习入门到精通实战》课程主要就人工智能领域相关的深度学习基础、深度学习计算、卷积神经网络+经典网络、循环神经网络+RNN进阶、优化算法、计算机视觉和自然语言处理等,配套实战案例与项目全部基于真实数据集与实际任务展开,结合深度学习框架进行建模实战。                由浅入深,每一个理论搭配一个实验,引领学员浸泡式逐步掌握各项技能和实战项目,且侧重技能不同,学员的知识体系会更加全面课程大纲:第一章:深度学习基础-深度学习简介01.1-前置知识01.2-传统编程与数据编程01.3-深度学习起源01.4-深度学习崛起与发展01.5-深度学习成功案例01.6-深度学习特点 第二章:深度学习基础-Python基础02.1-PyTorch介绍与环境配置02.2-数据操作与创建Tensor02.3-算术操作、索引与改变形状02.4-线性代数、广播机制与内存开销02.5-Tensor和NumPy相互转换与Tensor on GPU02.6-实验01-创建和使用Tensor-102.7-实验01-创建和使用Tensor-202.8-梯度下降02.9-实验02-梯度下降-102.10-实验02-梯度下降-202.11-自动求梯度概念02.12-自动求梯度实例02.13-实验03-自动求梯度-102.14-实验03-自动求梯度-2 第三章:深度学习基础-线性回归03.1-线性回归讲解03.2-线性回归实例03.3-实验04-从零实现线性回归-103.4-实验04-从零实现线性回归-203.5-实验05-线性回归的简洁实现-103.6-实验05-线性回归的简洁实现-2 第四章:深度学习基础-softmax回归04.1-softmax回归04.2-实验06-FashionMNIST04.3-实验07-从零实现Softmax回归-104.4-实验07-从零实现Softmax回归-204.5-实验08-softmax回归的简洁实现 第五章:深度学习基础-多层感知机05.1-感知机05.2-多层感知机05.3-多层感知机与神经网络05.4-激活函数05.5-正向传播05.6-反向传播05.7-正向传播和反向传播05.8-批大小05.9-实验09-从零实现MLP05.10-实验10-MLP的简洁实现 第六章:深度学习基础-模型选择、欠拟合和过拟合06.1-训练误差和泛化误差06.2-模型选择06.3-欠拟合和过拟合06.4-权重衰减06.5-丢弃法06.6-实验11-多项式函数拟合实验06.7-实验12-高维线性回归实验-106.8-实验12-高维线性回归实验-206.9-实验13-Dropout 第七章:深度学习基础-数值稳定性和模型初始化07.1-数值稳定性和模型初始化-107.2-数值稳定性和模型初始化-207.3-实验14-房价预测案例-107.4-实验14-房价预测案例-207.5-实验14-房价预测案例-3 第八章:深度学习计算-模型构造08.1-模型构造-108.2-模型构造-208.3-模型构造-308.4-实验15-模型构造-108.5-实验15-模型构造-2 第九章:深度学习计算-模型参数的访问、初始化和共享09.1-模型参数的访问09.2-模型参数初始化和共享09.3-实验16-模型参数-109.4-实验16-模型参数-2 第十章:深度学习计算-自定义层与读取和储存10.1-不含模型参数的自定义层10.2-含模型参数的自定义层10.3-实验17-自定义层10.4-读取和储存10.5-GPU计算10.6-实验18-读取和储存  第十一章:卷积神经网络11.01-卷积神经网络11.02-卷积神经网络的组成层11.03-图像分类的局限性11.04-二维卷积层与卷积层11.05-卷积在图像中的直观作用11.06-实验19-二维卷积层11.07-填充与步幅11.08-卷积过程11.09-卷积层参数-111.10-卷积层参数-211.11-实验20-Pad和Stride11.12-多输入和输出通道11.13-实验21-多通道11.14-池化层11.15-实验22-池化层 第十二章:经典网络12.01-卷积神经网络12.02-实验23-LeNet模型12.03-深度卷积神经网络12.04-实验24-AlexNet模型12.05-使用重复元素的网络12.06-实验25-VGG模型12.07-网络中的网络12.08-实验26-NiN模型12.09-含并行连接的网络12.10-实验27-GoogLeNet模型12.11-批量归一化-112.12-批量归一化-212.13-实验28-批量归一化12.14-残差网络12.15-实验29-残差网络12.16-稠密连接网络12.17-实验30-稠密连接网络 第十三章:循环神经网络13.01-语言模型和计算13.02-n元语法13.03-RNN和RNNs13.04-标准RNN向前输出流程和语言模型应用13.05-vector-to-sequence结构13.06-实验31-语言模型数据集-113.07-实验31-语言模型数据集-213.08-实验32-从零实现循环神经网络-113.09-实验32-从零实现循环神经网络-213.10-实验32-从零实现循环神经网络-313.11-实验32-从零实现循环神经网络-413.12-实验33-简洁实现循环神经网络-113.13-实验33-简洁实现循环神经网络-2 第十四章:RNN进阶14.01-通过时间反向传播-114.02-通过时间反向传播-214.03-长短期记忆-114.04-长短期记忆-214.05-实验34-长短期记忆网络-114.06-实验34-长短期记忆网络-214.07-门控循环单元14.08-RNN扩展模型14.09-实验35-门控循环单元 第十五章:优化算法15.01-优化与深度学习15.02-局部最小值和鞍点15.03-提高深度学习的泛化能力15.04-实验36-小批量梯度下降-115.05-实验36-小批量梯度下降-215.06-动量法-115.07-动量法-215.08-实验37-动量法15.09-AdaGrad算法与特点15.10-实验38-AdaGrad算法15.11-RMSrop算法15.12-实验39-RMSProp算法15.13-AdaDelta算法15.14-实验40-AdaDelta算法15.15-Adam算法15.16-实验41-Adam算法15.17-不用二阶优化讲解与超参数 第十六章:计算机视觉16.01-图像增广与挑战16.02-翻转、裁剪、变化颜色与叠加16.03-实验42-图像增广-116.04-实验42-图像增广-216.05-微调16.06-迁移学习16.07-实验43-微调-116.08-实验43-微调-216.09-目标检测16.10-边界框16.11-实验44-边界框16.12-锚框与生成多个锚框16.13-交并比16.14-实验45-生成锚框-116.15-实验45-生成锚框-216.17-标注训练集的锚框-116.18-标注训练集的锚框-216.19-实验46-标注训练集的锚框-116.20-实验46-标注训练集的锚框-216.21-实验46-标注训练集的锚框-316.22-输出预测边界框16.23-实验47-输出预测边界框-116.24-实验47-输出预测边界框-216.25-多尺度目标检测16.26-实验48-多尺度目标检测16.27-目标检测算法分类16.28-SSD与模型设计16.29-预测层16.30-损失函数16.31-SSD预测16.32-实验49-目标检测数据集16.33-实验50-SSD目标检测-116.34-实验50-SSD目标检测-216.35-实验50-SSD目标检测-316.36-实验50-SSD目标检测-416.37-实验50-SSD目标检测-516.38-实验50-SSD目标检测-6 第十七章:自然语言处理17.01-词嵌入和词向量17.02-神经网络模型17.03-跳字模型17.04-训练跳字模型17.05-连续词袋模型17.06-负采样17.07-层序softmax17.08-子词嵌入17.09-Fasttext模型17.10-全局向量的词嵌入17.11-实验51-word2vec之数据预处理-117.12-实验51-word2vec之数据预处理-217.13-实验52-word2vec之负采样-117.14-实验52-word2vec之负采样-217.15-实验53-word2vec之模型构建-117.16-实验53-word2vec之模型构建-217.17-实验54-求近义词和类比词-117.18-实验54-求近义词和类比词-217.19-实验55-文本情感分类RNN-117.20-实验55-文本情感分类RNN-217.21-实验55-文本情感分类RNN-317.22-实验55-文本情感分类RNN-417.23-TextCNN17.24-TextCNN流程17.25-实验56-文本情感分类textCNN-117.26-实验56-文本情感分类textCNN-217.27-Seq2Seq的历史与网络架构17.28-Seq2Seq的应用与存在的问题17.29-Attention机制与Bucket机制17.30-实验57-机器翻译之模型构建-117.31-实验57-机器翻译之模型构建-217.32-实验57-机器翻译之模型构建-317.33-实验58-机器翻译之训练评估-117.34-实验58-机器翻译之训练评估-217.35-实验58-机器翻译之训练评估-3

优化算法--Adagrad,RMSProp,AdaDelta,Adam

优化算法–Adagrad 自适应学习率 ​ 随机梯度下降算法,目标函数自变量的每一个元素在相同时间步都使用同一个学习率来自我迭代。举个例子,假设目标函数为fff,自变量为一个二维向量[x1,x2]⊤[x_1, x_2]^\top[x1​,x2​]⊤,该向量中每一个元素在迭代时都使用相同的学习率。例如,在学习率为η\etaη的梯度下降中,元素x1x_1x1​和x2x_2x2​都使用相同的学习率η\...

zenglaoshi的博客 1505

Pytorch Note17 优化算法3 Adagrad算法

Pytoch Note17 优化算法3 Adagrad 文章目录Pytoch Note17 优化算法3 AdagradAdagrad 算法自适应学习率代码从0实现pytorch内置优化器比较Compare Adagrad 算法 在前面,我们能够根据误差函数的斜率调整我们的更新并反过来加速 SGD,接着我们还希望可以根据参数的重要性而对不同的参数进行不同程度的更新。 这个算法就可以对低频的参数做较大的更新,对高频的做较小的更新,也因此,对于稀疏的数据它的表现很好,很好地提高了 SGD 的鲁棒性,例如识别 Yo

风信子的猫Redamancy的快乐星球 2745

通俗易懂理解(梯度下降)优化算法:Momentum、AdaGrad、RMSProp、Adam

引言: 在深度学习的任务目标中,通常我们希望我们的学习结果能够在损失函数上得到一个较好的结果,即朝着损失函数最小的方向前进。但是对于大部分深度学习任务而言,其优化的目标通常是一个非凸函数,其优化难度会比较大,所以也就出现了一系列的优化函数。接下来我会用比较通俗易懂的语言来介绍一些比较著名的优化算法 回顾:梯度下降法(GD)与随机梯度下降法(SGD)的理解 Note:本文的数学符号可能会与相关书...

Invokar的博客 6112

优化算法:Adagrad 原理与代码实例讲解

优化算法:Adagrad 原理与代码实例讲解 1. 背景介绍 1.1 优化算法的重要性 在机器学习和深度学习中,优化算法扮演着至关重要的角色。它们是模型训练的核心,决定了模型的收敛速度和性能。优化算法的目标是最小化损失函数,找

AI天才研究院 1457

通俗易懂讲透RMSProp优化算法

本文用通俗易懂的方式讲解了RMSProp优化算法,适合深度学习初学者和面试复习。RMSProp通过梯度平方的指数滑动平均实现自适应学习率,解决了AdaGrad学习率无限衰减的问题,使训练更稳定高效。文章包含形象比喻(如"下山找谷底")、公式拆解、可运行代码(优化Rosenbrock函数)及优化算法对比表。RMSProp特别适合RNN训练和不稳定梯度场景,但不适用于稀疏数据。最后指出,虽然RMSProp是经典优化器,但更强大的Adam算法已成为当前主流选择。全文以直观解释为主,兼顾技术深度

DeepModel的博客 1135

LT9611EX芯片实战:如何用双端口MIPI转HDMI1.4打造高清播放器(附配置代码)

本文详细介绍了如何使用龙迅半导体的LT9611EX芯片实现双端口MIPI转HDMI1.4的高清播放器开发。内容涵盖芯片特性、硬件设计要点、寄存器配置技巧及完整代码实现,特别适合嵌入式视频处理应用,如机顶盒和便携式媒体播放器。

weixin_29256771的博客 323

GNSS数据资源全解析:从DCB到BSX文件的下载与应用指南

本文系统解析了GNSS数据处理所需的核心数据资源,包括DCB、BSX、SP3、CLK等关键文件的官方下载路径与应用方法。详细介绍了CDDIS、武汉大学镜像站等权威数据源,并提供了从数据下载到实际应用的完整指南,帮助用户高效获取GNSS数据,提升精密定位处理效率。

weixin_29246195的博客 143

深度学习常见优化算法,图解AdaGrad、RMSProp,Adam

该优化算法在较为平缓处学习速率大,有比较高的学习效率,在陡峭处学习率小,在一定程度上可以避免越过极小值点。在SDG优化算法中不能自适应学习率,如图1所示,在函数的初始位置比较平缓,利用AdaGrad优化算法可以很快的到达较优点,而SGD几乎没有移动。如图2所示,初始位置比较陡峭,AdaGrad优化算法会自动调整学习率,然后顺利的到达最优点,而SGD在学习率比较大的情况下会在斜坡两边来回摆动。也就是说在当前梯度与之前梯度之间添加了权重,如果当前梯度的权重较大,那么响应速度也就更快。为常数,表示学习率。

鸥鹭忘机 5791

Cadence IC618与Spectre231安装:环境变量与License配置详解

在Linux系统中部署Virtuoso等EDA工具时,环境变量与License管理是决定工具能否顺利启动的核心环节。环境变量决定了系统如何找到工具二进制文件以及工具如何定位自身资源,而License则通过FlexLM授权机制控制工具的使用权限。理解PATH、CDS_ROOT、CDS_LIC_FILE等关键变量的作用,掌握lmgrd服务与lmstat验证方法,能显著减少安装后启动失败的概率。无论是学生初装Cadence IC618与Spectre231,还是实验室工作站需要搭建可用的模拟设计环境,理顺环境变量

weixin_29192365的博客 375

【快速理解Adagrad】通俗解释Adagrad梯度下降算法

梯度下降算法经常用来完成神经网络的训练以及拟合优化,梯度下降算法会影响网络训练的速度和精度,而Adagrad算法是一种比较不错的梯度下降算法。

qq_45193872的博客 1万+

Blender关于GIS安装及使用天地图

Blender下载安装及GIS插件的安装及使用

Miss_SQ的博客 6973

无人机通信电台--XBee-PRO 900HP (S3B)

XBee PRO S3B也称为XBee-900HP无线模块,它是一款工作在频段900~928MHz之间,基于FHSS跳频技术的远距离无线数传电台核心模块。常用型号如下: 类别 型号 开发套件 XKB9-DMT-UHP XBee-PRO 900HP (S3B) DigiMesh模块,200Kbps,软天线 XBP9B-DMWT-002 XBee-PRO 900HP (S3B)...

low米的博客 4509

深度学习的优化算法之--动量法、Adagrad、RMSProp、Adadelta

不同优化算法针对不同问题设计了特定的更新策略,帮助模型更高效地收敛到全局或局部最优解。本文将深入讲解动量法、Adagrad、RMSProp和Adadelta优化算法,结合实际代码演示它们的应用场景和效果,帮助读者掌握这些算法并学以致用。

xyaixy的博客 3831

gem5 run parsec2.1 ---- 亲测跑通教程

使用gem5模拟仿真parsec2.1,排除了各种bug,成功跑通,亲测有效!!!

m0_55539563的博客 1549

优化算法篇(三)——AdaGrad(自适应梯度算法)、RMSProp

目录前言python实现 前言 这前面两篇不同的是,这篇优化算法的学习率明面上是不断变换,且每个维度的学习率都尽相同。 具体算法过程上图所示。可以发现它是通过累加平方梯度的方式,来改变学习率。这使得在平缓的地方,由于梯度值小,对应学习的下降幅度就会小;对于陡峭的地方,由于梯度值大。对应的学习率就会相对大幅下降,使得更加平缓,从而加快训练速度。 缺点:AdaGrad会记录之前的所有梯度之和,这使得这个结果会越来越大,从而使得后面学习率会无限接近0,从而使得权值无法得到更新。为了改善这点,后面会介

小白一直白 7325

IEEE69节点数据(Matlab)

IEEE69节点数据(Matlab)

weixin_46039719的博客 1165

人形机器人 vs 机器狗SLAM:FAST_LIO_LOCALIZATION_HUMANOID的差异化优化方向

《FAST_LIO_LOCALIZATION_HUMANOID在人形与机器狗应用中的差异化优化策略》摘要: 格灵深瞳开源的FAST_LIO_LOCALIZATION_HUMANOID系统针对人形机器人和机器狗提出了差异化优化方案。人形机器人需应对双足步态带来的周期性晃动,通过动态盲区滤波、二阶运动模型补偿步态相位畸变,并修复重力向量计算误差。机器狗则需解决四足高频运动挑战,包括设计自适应地面分割算法、抑制IMU高频振动噪声,以及基于足端接触序列的非匀速运动建模。二者在传感器配置(高度/视角)、运动频率(1-

Studying…… 326

深度学习常用优化算法:SGD、Nesterov、Adagrad、AdaDelta、Adam

优化算法的功能,是通过改善训练方式,来最小化(或最大化)损失函数E(x)。模型内部有些参数,是用来计算测试集中目标值Y的真实值和预测值的偏差程度的,基于这些参数,就形成了损失函数E(x)。比如说,权重(W)和偏差(b)就是这样的内部参数,一般用于计算输出值,在训练神经网络模型时起到主要作用。在有效地训练模型并产生准确结果时,模型的内部参数起到了非常重要的作用。这也是为什么我们应该用各种优化策略和算法,来更新和计算影响模型训练和模型输出的网络参数,使其逼近或达到最优值。

绿色羽毛 1万+

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

【优化算法03】AdaGrad、RMSprop和Adam

在前面的几种优化算法优化算法01和 优化算法02中,学习率是固定的。而随着训练的向前推进,学习率应该是要不断变小的,因为如果学习率过大,那么模型会跨过极值点,来回震荡。如何对学习率进行调整呢?一种简单的策略是每更新一次参数或者到达一个阶段,就固定地减少学习率,直到学习率为0就结束训练。但是这种方法依靠人为设定,每次减少的程度是个难以抉择的值,因为设定得过大,模型会提前结束训练,设置得过小,模型需要漫长的迭代,浪费计算资源。AdaGrad借鉴动量梯度下降的思想类似,依靠历史信息来自适应地调整学习率。具体步骤如

老王的博客 941

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【pytorch优化器】Adagrad、RMSProp优化算法详解

模型每次反向传导都会给各个可学习参数p计算出一个偏导数g_t,用于更新对应的参数p。通常偏导数g_t不会直接作用到对应的可学习参数p上,而是通过优化器做一下处理,得到一个新的值,处理过程用函数F表示(不同的优化器对应的F的内容不同),即,然后和学习率lr一起用于更新可学习参数p,即。

All_In_gzx_cc的博客 4524

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

AdaGrad 优化算法

​ 是一种基于参数自适应调整学习率的优化算法,由 ​​ 等人于 2011 年提出。其核心思想是为每个参数单独调整学习率,以应对不同参数对梯度的敏感性差异,尤其适合解决稀疏数据和深层网络中的优化问题。

m0_73426548的博客 1131

深度学习优化算法:AdaGrad算法

原文链接:动手学深度学习pytorch版:7.5 AdaGrad算法 github:https://github.com/ShusenTang/Dive-into-DL-PyTorch 原论文: [1] Duchi, J., Hazan, E., & Singer, Y. (2011). Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning R

ywm_up 1959
上一篇: 一口气读懂 PCA 主成分分析:从原理到代码,本科生/研究生都能彻底学会
下一篇: 通俗易懂讲透Adam优化器
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值