深度学习优化函数详解（6）-- adagrad

最新推荐文章于 2025-09-28 10:23:25 发布
原创 最新推荐文章于 2025-09-28 10:23:25 发布 · 1.8w 阅读 · 61 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文深入探讨Adagrad优化算法，它根据每个参数的历史梯度动态调整学习率，以适应不同参数的重要性。通过公式推导解释其工作原理，并通过实验展示Adagrad在实践中学习率逐渐减小导致收敛速度变慢的问题。

深度学习优化函数详解系列目录

本系列课程代码，欢迎star：
https://github.com/tsycnh/mlbasic

深度学习优化函数详解（0）-- 线性回归问题
深度学习优化函数详解（1）-- Gradient Descent 梯度下降法
深度学习优化函数详解（2）-- SGD 随机梯度下降
深度学习优化函数详解（3）-- mini-batch SGD 小批量随机梯度下降
深度学习优化函数详解（4）-- momentum 动量法
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG)
深度学习优化函数详解（6）-- adagrad

前面的一系列文章的优化算法有一个共同的特点，就是对于每一个参数都用相同的学习率进行更新。但是在实际应用中各个参数的重要性肯定是不一样的，所以我们对于不同的参数要动态的采取不同的学习率，让目标函数更快的收敛。
adagrad方法是将每一个参数的每一次迭代的梯度取平方累加再开方，用基础学习率除以这个数，来做学习率的动态更新。这个比较简单，直接上公式。

公式推导

∇ θ i J ( θ ) \nabla_{\theta_i} J(\theta) ∇θi​​J(θ) 表示第 i i i 个参数的梯度，对于经典的SGD优化函数我们可以这样表示
θ i _ n e w = θ i − η ∇ θ i J ( θ ) \theta_{i\_new}=\theta_i - \eta\nabla_{\theta_i} J(\theta) θi_new​=θi​−η∇

最低0.47元/天 解锁文章
深度学习之AdaGrad算法
MumuziD的博客
04-02 2019
AdaGrad 算法根据自变量在每个维度的梯度值调整各个维度的学习率，从而避免统一的维度难以适应所有维度的问题。 特点： 小批量随机梯度按元素累加变量，出现在学习率的分母项中。（若目标函数有关自变量的偏导数一直都较大，那么学习率下降较快；反之亦然。） 若迭代早期下降过快 + 当前解仍然不佳，可能导致很难找到有效解。 一、算法初解 实现AdaGrad算法，使⽤的学习率为0.4。...
AdaGrad算法
bl128ve900的博客
08-02 9913
参考： 深度学习优化方法-AdaGradhttps://blog.youkuaiyun.com/program_developer/article/details/80756008 AdaGrad算法介绍 表示第i个参数的梯度，对于经典的SGD优化方法，参数θ的更新为： 再来看AdaGrad算法表示为： 其中，r为梯度累积变量，r的初始值为0。ε为全局学习率，需要自己设置。δ为小常数，为了...
从零开始理解Adagrad优化器：寻找深度学习中的“山谷最低点”
最新发布
2401_89629203的博客
09-28 353
Adagrad教会我们的核心思想：在深度学习的"山谷探险"中，要记住每个方向的历史经验，根据地形特点智能调整前进策略。这种"因地制宜"的智慧，使得Adagrad在处理不同特征的参数时更加高效，为后续更先进的优化器奠定了重要基础。
adagrad
qq_43263543的博客
11-13 1464
Adagrad是解决不同参数应该使用不同的更新速率的问题。Adagrad自适应地为各个参数分配不同学习率的算法。其公式如下： gradient比较大的时候，走的地方比较陡峭，希望步长小一点，避免走过，gradient比较小的时候，走的地方比较平缓，希望步长大一点。 ...
AdaGrad 优化算法
m0_73426548的博客
03-05 901
​ 是一种基于参数自适应调整学习率的优化算法，由 ​​ 等人于 2011 年提出。其核心思想是为每个参数单独调整学习率，以应对不同参数对梯度的敏感性差异，尤其适合解决稀疏数据和深层网络中的优化问题。
深度学习中的优化方法-AdaGrad
hanjiangxue_wei的博客
01-31 982
码字不易，转载请注明出处~ tags: optimizer;AdaGrad 本文来源于下面博客： https://medium.com/konvergen/an-introduction-to-adagrad-f130ae871827 前面讲到梯度下降法以及带动量的梯度下降法、NAG等，它们的一个共同的特点是都包含学习率η\etaη这个参数，而这个参数的选择属于超参数的范围。个人感觉超参数包含了两...
深度学习优化算法：AdaGrad算法
ywm_up
08-31 1853
原文链接：动手学深度学习pytorch版：7.5 AdaGrad算法 github：https://github.com/ShusenTang/Dive-into-DL-PyTorch 原论文： [1] Duchi, J., Hazan, E., & Singer, Y. (2011). Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning R
深度学习优化函数详解（1）-- Gradient Descent 梯度下降法
史丹利复合田的博客
07-23 1万+
深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题 深度学习优化函数详解（1）– Gradient Descent 梯度下降法 深度学习优化函数详解（2）– SGD 随机梯度下降 深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解（4）– momentum 动量法 深度学习优化函数详解（5）– Neste...
深度学习各种优化函数详解
热门推荐
qq_21460525的博客
04-12 3万+
深度学习中有众多有效的优化函数，比如应用最广泛的SGD，Adam等等，而它们有什么区别，各有什么特征呢？下面就来详细解读一下一、先来看看有哪些优化函数BGD 批量梯度下降所谓的梯度下降方法是无约束条件中最常用的方法。假设f(x)是具有一阶连续偏导的函数，现在的目标是要求取最小的f(x) : min f(x)核心思想：负梯度方向是使函数值下降最快的方向，在迭代的每一步根据负梯度的方向更新x的值，从而求
深度学习优化函数详解（0）-- 线性回归问题
史丹利复合田的博客
07-22 1万+
深度学习优化函数详解系列目录 深度学习优化函数详解（0）– 线性回归问题 深度学习优化函数详解（1）– Gradient Descent 梯度下降法 深度学习优化函数详解（2）– SGD 随机梯度下降 深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降 深度学习优化函数详解（4）– momentum 动量法 深度学习优化函数详解（5）– Neste...
深度学习优化方法-AdaGrad
Microstrong
06-21 2万+
“微信公众号” 梯度下降算法、随机梯度下降算法（SGD）、小批量梯度下降算法（mini-batch SGD）、动量法（momentum）、Nesterov动量法有一个共同的特点是：对于每一个参数都用相同的学习率进行更新。 但是在实际应用中，各个参数的重要性肯定是不一样的，所以我们对于不同的参数要动态的采取不同的学习率，让目标函数更快的收敛。 A...
深度学习中的优化算法之AdaGrad
网络资源是无限的
05-14 1万+
之前在https://blog.youkuaiyun.com/fengbingchun/article/details/123955067 介绍过SGD(Mini-Batch Gradient Descent(MBGD)，有时提到SGD的时候，其实指的是MBGD)。这里介绍下自适应梯度优化算法。 AdaGrad：全称Adaptive Gradient，自适应梯度，是梯度下降优化算法的扩展。AdaGrad是一种具有自适应学习率的梯度下降优化方法。它使参数的学习率自适应，对不频繁的参数执行较大的更...
Adagrad
weixin_37958272的博客
07-05 652
Adagrad Adagrad [3，Adaptive Subgradient Methods for Online Learning and Stochastic Optimization] 就是这样一种解决这个问题的基于梯度的优化算法：根据参数来调整学习率，对于不常见的参数给予更大的更新，而对于常见的给予更小的更新。因此，Adagrad 非常适用于稀疏数据。Dean 等人 [4，Large Scale Distributed Deep Networks] 发现 Adagrad 能够大幅提高 SGD 的鲁
深度学习优化算法大全系列4:AdaGrad(Adaptive Gradient)
bitcarmanlee的博客
01-13 1640
1.参数调整 之前提到的SGD-Momentum(动量), NAG等算法，都是针对梯度的方向做相关优化，而且使用的都是一阶动量。而神经网络有许多超参数(Hyper-Parameter)，这些超参数的选择也是模型选择调优的一项重要工作，因此很多算法工程师也自己戏谑为"调参工程师"或者"调包侠"，就可以看出参数的重要性。 在经典的梯度下降中，不同的变量，采用的是一个全局的学习率。但是实际情况中，不同的变量对于目标函数的依赖不同。举个简单的例子，对于有些参数，因为特征出现次数多属于稠密特征，可能在训练开始不就以后
部分主流优化函数讲解（SGD,AdaGrad，RMSProp,Adam）
justsolow的博客
04-09 1097
部分主流优化函数讲解（SGD,AdaGrad，RMSProp,Adam） 参考自（https://blog.youkuaiyun.com/weixin_42398658/article/details/84525917） 之所以出现了这么多的优化函数就是因为病态曲率的存在，也就是梯度下降容易进入鞍点。 这样的话我们就很容易想到牛顿法了，一阶导数指出的是运动方向的问题，二阶导数指出的就是加速度的问题。但是由于牛...
AdaGrad
m0_37347812的博客
06-17 201
参考：pytorch学习笔记（三十六）：AdaGrad
【快速理解Adagrad】通俗解释Adagrad梯度下降算法
qq_45193872的博客
04-13 1万+
梯度下降算法经常用来完成神经网络的训练以及拟合优化，梯度下降算法会影响网络训练的速度和精度，而Adagrad算法是一种比较不错的梯度下降算法。
深度学习中的损失函数与优化器详解
05-10
<think>嗯，用户现在想了解深度学习中的损失函数和优化器的详细解释和使用方法。之前已经给过他们一个比较全面的回答，里面包含了各种损失函数和优化器的对比，以及它们在RNN中的应用示例。现在用户再次提问，可能希望得到更深入的信息，或者更结构化的指导。需要先回顾之前的回答，确保这次的内容不重复，同时补充更多细节。 首先，用户提到的引用资料里，引用[1]强调了损失函数和优化器的相互依赖，这一点在之前的回答中也提到过，需要再次强调两者的协同作用。引用[2]解释了损失函数如何衡量预测值和真实值的差距，这里可能需要进一步分类讨论不同类型的损失函数适用场景。引用[3]详细讨论了各种优化器的优缺点，特别是SGD和自适应方法的对比，这部分可以结合之前的建议，给出更具体的选择指南。 用户的需求是详细解释和使用指南，所以应该分模块来组织内容。可能的结构是：损失函数部分按任务类型分类，每种类型给出公式、使用场景、注意事项；优化器部分对比不同算法，适用情况，调参技巧。同时结合用户之前提到的RNN应用，可能需要添加一些实际案例或者代码示例，但用户这次的问题似乎更偏向理论，所以代码可以放在后面作为补充。 另外，用户可能希望了解如何根据具体问题选择损失函数和优化器，所以需要给出一些决策流程或选择树。例如，对于分类问题，交叉熵是首选；对于回归问题，MSE或MAE。优化器方面，如果是稀疏数据或需要快速收敛，Adam可能更好，但要注意泛化问题；如果追求稳定性和最终性能，SGD配合学习率调度更合适。 还要注意引用之前的文献，比如在解释SGD和Adam对比时，引用用户提供的资料中的观点，如引用[3]提到的SGD训练时间长但结果可靠，而自适应方法适合复杂网络。同时需要结合之前回答中的引用标识，如[^1]、[^3]等，确保文献引用的一致性。 最后，用户可能希望得到一些常见问题的解答或使用中的注意事项，比如过拟合时的损失函数调整，优化器参数设置等。这部分可以放在最后作为使用技巧，帮助用户解决实际问题。 总结下来，回答的结构应该是： 1. 损失函数详解（分类、回归、序列任务） 2. 优化器对比（SGD、Adam、RMSprop等） 3. 联合使用指南（如何选择组合，调参技巧） 4. 常见问题与解决方案 5. 代码示例（可选） 需要确保每个部分都包含公式、适用场景、优缺点和引用来源。同时语言要清晰，避免过于技术化，让不同层次的读者都能理解。可能还需要检查是否有最新的优化器或损失函数没有提到，比如Nadam或SWATS，但用户提供的引用中没有提到这些，所以可能不需要扩展太多，保持原有结构的基础上深化内容即可。</think>### 深度学习中的损失函数与优化器详解及使用指南 --- #### 一、损失函数：核心功能与分类选择 损失函数（Loss Function）是模型性能的“指南针”，量化预测值与真实值的偏差，直接影响参数更新方向。以下按任务类型分类详解： ##### 1. **回归任务** - **均方误差（MSE）** $$ L = \frac{1}{n}\sum_{i=1}^n (y_i - \hat{y}_i)^2 $$ - **特点**：对异常值敏感，适用于数据分布均匀的场景（如房价预测）[^1]。 - **改进**：改用平均绝对误差（MAE）$$ L = \frac{1}{n}\sum_{i=1}^n |y_i - \hat{y}_i| $$ 可降低异常值影响[^2]。 ##### 2. **分类任务** - **交叉熵损失（Cross-Entropy）** $$ L = -\sum_{i=1}^n y_i \log(\hat{y}_i) $$ - **适用场景**：多分类问题（如文本分类、图像识别）[^1][^3]。 - **变体**： - **加权交叉熵**：类别不平衡时，为罕见类别分配更高权重。 - **Focal Loss**：降低易分类样本权重，缓解类别不均衡问题（常用于目标检测）。 ##### 3. **序列任务（RNN/LSTM/Transformer）** - **逐时间步损失求和**： 对序列中每个位置计算损失后累加，例如文本生成任务中逐词计算交叉熵[^3]。 $$ L = \sum_{t=1}^T L_t $$ - **注意点**：长序列训练可能因梯度消失/爆炸导致损失震荡，需结合优化器调整[^1]。 --- #### 二、优化器：算法对比与调参策略 优化器通过梯度下降法更新参数，核心目标是高效收敛且避免局部最优。主要算法对比： | 优化器 | 核心公式 | 适用场景 | 注意事项 | |--------------|--------------------------------------------------------------------------|-----------------------------------|-----------------------------------| | **SGD** | $$ \theta_{t+1} = \theta_t - \eta \nabla_\theta L $$ | 凸优化、小批量数据、需稳定收敛[^3] | 需手动调学习率，易困于鞍点[^3] | | **Adam** | $$ \theta_{t+1} = \theta_t - \eta \frac{m_t}{\sqrt{v_t} + \epsilon} $$ | 非凸优化、大数据集、快速收敛[^3] | 自适应学习率可能导致后期震荡 | | **RMSprop** | $$ \theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{E[g^2]_t} + \epsilon} g_t $$ | 非平稳目标（如RNN时序建模）[^1] | 需调整衰减率$\gamma$（默认0.9）[^3] | ##### **优化器选择指南** 1. **任务类型决定基准选择**： - **图像分类（CNN）**：优先Adam（快速收敛）。 - **机器翻译（RNN/Transformer）**：优先SGD或RMSprop（长序列稳定性更优）[^1]。 2. **数据特征影响调参**： - **稀疏数据**：使用自适应优化器（Adam、Adagrad），避免手动调学习率[^3]。 - **小数据集**：SGD配合动量（Momentum）可提升泛化能力。 ##### **调参技巧** - **学习率设置**： - Adam初始学习率通常设为$0.001$，SGD设为$0.01 \sim 0.1$[^3]。 - 使用学习率调度（如`ReduceLROnPlateau`）动态调整。 - **梯度裁剪（Gradient Clipping）**： 限制梯度最大值，防止RNN训练中的梯度爆炸[^1]。 ```python torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0) ``` --- #### 三、联合应用：损失函数与优化器的协同设计 ##### 1. **分类任务实例（PyTorch）** ```python # 定义模型、损失函数、优化器 model = Transformer(num_classes=10) criterion = nn.CrossEntropyLoss(weight=class_weights) # 加权交叉熵 optimizer = torch.optim.AdamW(model.parameters(), lr=0.001, weight_decay=0.01) # 添加L2正则 # 训练循环 for inputs, labels in dataloader: optimizer.zero_grad() outputs = model(inputs) loss = criterion(outputs, labels) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 5.0) # 梯度裁剪 optimizer.step() ``` ##### 2. **回归任务调优策略** - **损失函数选择**： - 数据含噪声时用MAE，平滑数据用MSE。 - **优化器组合**： - 使用SGD配合余弦退火（Cosine Annealing）学习率，提升收敛稳定性[^3]。 --- #### 四、常见问题与解决方案 1. **损失值震荡不收敛** - **检查点**： - 学习率过大 → 逐步降低学习率或使用自适应优化器。 - 梯度爆炸 → 应用梯度裁剪（如设置`max_norm=5.0`）[^1]。 2. **模型过拟合** - **改进方法**： - 损失函数中增加L2正则项：$$ L = L_{\text{原始}} + \lambda \sum \theta_i^2 $$ - 优化器使用AdamW（解耦权重衰减与梯度更新）。 3. **训练速度过慢** - **加速策略**： - 切换为Adam或Nadam（Nesterov加速的Adam）。 - 增大批量大小（Batch Size）并同步调整学习率[^3]。 --- ### 代码示例：RNN时间序列预测 ```python import torch import torch.nn as nn # 定义模型与损失函数 class RNN_Model(nn.Module): def __init__(self, input_size, hidden_size): super().__init__() self.rnn = nn.GRU(input_size, hidden_size, batch_first=True) self.fc = nn.Linear(hidden_size, 1) # 预测单变量 def forward(self, x): out, _ = self.rnn(x) return self.fc(out[:, -1, :]) # 取最后一个时间步输出 model = RNN_Model(input_size=3, hidden_size=128) criterion = nn.MSELoss() # 回归任务用MSE optimizer = torch.optim.RMSprop(model.parameters(), lr=0.005) # 训练流程 for epoch in range(100): for seq, target in train_loader: optimizer.zero_grad() pred = model(seq) loss = criterion(pred, target) loss.backward() nn.utils.clip_grad_value_(model.parameters(), 10.0) # 梯度值裁剪 optimizer.step() ``` --- ### 关键结论 1. **损失函数**需根据任务类型（回归/分类/生成）和数据特性（噪声、不平衡性）选择。 2. **优化器**的核心矛盾是收敛速度与泛化性能：Adam类适合快速实验，SGD类适合最终调优[^3]。 3. **联合调参**时，正则化、学习率调度与梯度管理缺一不可，需通过实验验证组合效果。
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值