通俗易懂讲透RMSProp优化算法

深度学习优化算法解析(Momentum, RMSProp, Adam) 之前看了很多人介绍网络的优化器optimizer,无奈很多都把简单的东西讲的复杂化了,不容易让人懂,恰好之前看过吴恩达老师的最新的课程,这里结合老师讲的和个人想法写一下,方便别人同时也为自己以后回顾吧。 深度学习的优化算法主要有GD,SGD,Momentum,RMSProp和Adam算法吧,还有诸如Adagrad算法,不过大同小异,理解了前面几个,后面的也就引刃而解了。GD算法,SGD算法以及m 阅读详情

通俗易懂讲透RMSProp优化算法(本科生/研究生都能看懂)

本文用大白话+形象比喻+公式拆解+可运行代码+对比总结,把RMSProp从原理、流程、优缺点到适用场景讲得清清楚楚,适合深度学习入门、面试复习、课程笔记。


一、先搞懂:我们为什么需要RMSProp?

训练模型就是不断调参,让损失函数最小。
最基础的梯度下降(SGD)有两个致命问题:

  1. 固定学习率太死板:陡峭区域步子太大容易震荡,平坦区域步子太小收敛极慢
  2. 不同参数梯度差异大:有的参数更新疯快,有的几乎不动,训练很不稳定

于是就有了RMSProp:

AdaGrad的升级版,用指数滑动平均解决学习率无限衰减的问题

一句话总结:
RMSProp = 自适应学习率 + 梯度平方平滑,自动给每个参数调步子,稳又快。


二、RMSProp 是什么?(超形象比喻)

RMSProp(Root Mean Square Propagation)全称均方根传播,是经典自适应优化算法。

把优化比作下山找谷底:

  • 普通梯度下降:不管坡陡不陡,每一步都一样大,容易摔或走不动
  • AdaGrad:越走步子越小,后期直接“不走了”
  • RMSProp:只记最近几步的坡度,陡就走小步,平就走大步,不会越走越慢

核心逻辑:
用梯度平方的指数加权移动平均,动态缩放每个参数的学习率。


三、RMSProp 核心思想(不用公式也能懂)

  1. 记录近期梯度平方:不算历史总和,只算最近的滑动平均,避免学习率一直衰减
  2. 自适应缩放步长:梯度大→学习率变小,梯度小→学习率变大
  3. 防止除0:加一个极小值ε,保证分母不为0
  4. 平稳更新:平滑梯度波动,让训练更稳定

四、RMSProp 公式一步步拆解(详细易懂)

1. 先看标准梯度下降(对照)

θt+1=θt−η⋅gt\theta_{t+1} = \theta_t - \eta \cdot g_tθt+1​=θt​−η⋅gt​

  • η\etaη:固定学习率
  • gtg_tgt​:当前梯度
    缺点:所有参数同一步长,不智能。

2. RMSProp 核心公式(3步搞定)

第1步:更新梯度平方的指数滑动平均

E[g2]t=γ⋅E[g2]t−1+(1−γ)⋅gt2E[g^2]_t = \gamma \cdot E[g^2]_{t-1} + (1-\gamma) \cdot g_t^2E[g2]t​=γ⋅E[g2]t−1​+(1−γ)⋅gt2​

  • γ\gammaγ:衰减率,默认0.9,控制“记忆长度”
  • E[g2]tE[g^2]_tE[g2]t​:近期梯度平方的平滑值
  • 只记最近的梯度,不会无限累积
第2步:计算自适应学习率

lrt=ηE[g2]t+ϵ\text{lr}_t = \frac{\eta}{\sqrt{E[g^2]_t + \epsilon}}lrt​=E[g2]t​+ϵ​η​

  • η\etaη:基础学习率
  • ϵ\epsilonϵ:极小值,默认10−810^{-8}10−8,防止分母为0
第3步:更新参数

θt+1=θt−lrt⋅gt\theta_{t+1} = \theta_t - \text{lr}_t \cdot g_tθt+1​=θt​−lrt​⋅gt​

✅ 直白解释:

  • 梯度大→E[g2]E[g^2]E[g2]大→学习率小→走慢
  • 梯度小→E[g2]E[g^2]E[g2]小→学习率大→走快

五、RMSProp 完整算法流程(4步背会)

  1. 初始化参数θ\thetaθ、梯度平方平均E[g2]=0E[g^2]=0E[g2]=0
  2. 计算当前梯度gtg_tgt​
  3. 更新梯度平方滑动平均E[g2]tE[g^2]_tE[g2]t​
  4. 用自适应学习率更新参数θ\thetaθ
  5. 重复直到收敛

六、代码实战:RMSProp 优化 Rosenbrock 函数

直接复制可运行,包含手动实现RMSProp + 可视化对比。

import numpy as np
import matplotlib.pyplot as plt

# ===================== 1. 定义测试函数:Rosenbrock(香蕉函数)=====================
def rosenbrock(x):
    return (1 - x[0])**2 + 100 * (x[1] - x[0]**2)**2

def grad_rosenbrock(x):
    dx = -2*(1 - x[0]) - 400*x[0]*(x[1] - x[0]**2)
    dy = 200*(x[1] - x[0]**2)
    return np.array([dx, dy])

# ===================== 2. RMSProp 算法实现 =====================
def rmsprop(f, grad_f, x0, lr=0.001, gamma=0.9, epsilon=1e-8, max_iter=10000, tol=1e-8):
    x = x0.copy()
    E_g2 = np.zeros_like(x)  # 梯度平方滑动平均
    path = [x.copy()]
    loss = [f(x)]
    
    for i in range(max_iter):
        g = grad_f(x)
        if np.linalg.norm(g) < tol:
            print(f"收敛于迭代:{i}")
            break
        
        # RMSProp核心
        E_g2 = gamma * E_g2 + (1 - gamma) * (g ** 2)
        x -= lr * g / (np.sqrt(E_g2) + epsilon)
        
        path.append(x.copy())
        loss.append(f(x))
    
    return np.array(path), np.array(loss)

# ===================== 3. 运行优化 =====================
x0 = np.array([-1.5, 2.0])
path_rms, loss_rms = rmsprop(rosenbrock, grad_rosenbrock, x0)

# ===================== 4. 可视化 =====================
plt.figure(figsize=(12,5))

# 等高线+优化路径
plt.subplot(121)
X, Y = np.meshgrid(np.linspace(-2,2,400), np.linspace(-1,3,400))
Z = (1-X)**2 + 100*(Y-X**2)**2
plt.contourf(X,Y,Z,50,cmap='plasma')
plt.contour(X,Y,Z,50,colors='k',linewidths=0.5)
plt.plot(path_rms[:,0], path_rms[:,1], 'bo-', markersize=3, label='RMSProp路径')
plt.title('RMSProp 优化路径')
plt.legend()

# 损失曲线
plt.subplot(122)
plt.plot(loss_rms, 'r-', label='损失值')
plt.title('损失下降曲线')
plt.xlabel('迭代次数')
plt.ylabel('损失')
plt.grid(linestyle='--')
plt.legend()

plt.tight_layout()
plt.show()

七、RMSProp 优点(面试必背)

  1. 自适应学习率:每个参数自动调整,不用手动衰减
  2. 解决AdaGrad缺陷:用滑动平均,学习率不会无限变小
  3. 抑制震荡:高梯度区域自动缩小步长,稳定不爆炸
  4. 内存占用小:只存一个梯度平方平均,轻量高效
  5. RNN神器:对循环神经网络训练效果特别好

八、RMSProp 缺点(必须知道)

  1. 没有动量:缺少惯性,平坦区域收敛比Adam慢
  2. 超参数敏感:学习率和衰减率需要手动调优
  3. 稀疏梯度一般:不如AdaGrad适合NLP等稀疏场景
  4. 默认无理论收敛保证:实践好用但理论弱于SGD

九、优化算法对比表(速记)

算法自适应学习率动量核心特点适用场景
SGD❌❌简单、泛化好小数据集、高精度
Momentum❌✅惯性加速通用场景
AdaGrad✅❌累积平方梯度稀疏数据
RMSProp✅❌滑动平均、不衰减RNN、不稳定梯度
Adam✅✅动量+RMSProp深度学习首选

十、什么时候用 RMSProp?

✅ 推荐用 RMSProp

  • 循环神经网络(RNN/LSTM/GRU)训练
  • 梯度不稳定、曲率变化大的非凸问题
  • 轻量级模型、资源有限场景
  • 不想用复杂Adam,想要稳定收敛

❌ 不推荐用 RMSProp

  • 极度稀疏数据(NLP/推荐)→ 用AdaGrad
  • 追求最快收敛 → 用Adam
  • 小数据集、追求泛化能力 → 用SGD+Momentum

十一、一句话总结

RMSProp 是AdaGrad的改良版,用梯度平方滑动平均实现自适应学习率,稳定不衰减,是RNN等不稳定梯度场景的经典优化器。
综合最强的是它的“儿子”——Adam。

RMSProp:基于自适应学习率的优化算法 RMSProp是一种基于自适应学习率的优化算法,它通过适应性地更新学习率,有效地解决了普通随机梯度下降(SGD)算法中学习率过大或过小的问题。作为一种基于自适应学习率的优化算法,RMSProp通过考虑参数梯度的历史信息,提供了自适应的学习率,解决了普通SGD算法中学习率过大或过小的问题。它通过计算梯度平方的移动平均值来调整学习率,从而为每个参数提供不同的学习率,并在训练过程中自适应地调整。:通过调整衰减率,可以影响历史梯度平方指数加权平均的忘记程度,从而对学习率进行适当的调整。 阅读详情

相关推荐

十三、机器学习进阶知识:神经网络之反向传播算法(自适应梯度算法Adagrad)

本文主要介绍了反向传播算法中的自适应梯度算法(Adagrad),同时以神经网络数据预测为例对它的实现过程进行了说明,通俗易懂,适合新手学习,附源码及实验数据集。

weixin_42051846的博客 1511

深度学习中的优化算法之RMSProp

之前在https://blog.youkuaiyun.com/fengbingchun/article/details/124766283 中介绍过深度学习中的优化算法AdaGrad,这里介绍下深度学习的另一种优化算法RMSProp。 RMSProp全称为Root Mean Square Propagation,是一种未发表的自适应学习率方法,由Geoff Hinton提出,是梯度下降优化算法的扩展。如下图所示,截图来自:https://arxiv.org/pdf/1609.04747.pdf...

网络资源是无限的 2万+

C++实现Adam与RMSProp优化算法

本文介绍了C++实现Adam和RMSProp优化算法的方法,包括基础实现、Eigen库矩阵优化及PyTorch C++ API示例。同时展示了TensorFlow C++ API的关键操作如模型加载、会话执行和ONNXRuntime的推理处理。此外还涵盖了C++标准库算法(排序、搜索、集合操作)和数值计算方法。这些代码片段和资源为C++深度学习开发提供了实用参考,需要配合相应库文件和环境配置使用。

keny-大成的博客 1072

RMSprop

RMSprop算法,全称是root mean square prop。为了进一步优化损失函数在更新中存在摆动幅度过大的问题,并且进一步加快函数的收敛速度,RMSProp算法对权重W和偏置b的梯度使用了微分平方加权平均数。  在第t轮迭代中: 其中dW的平方是(dW)^2,db的平方是(db)^2。如果严谨些,防止分母为0,在分数下加上个特别小的一个值epsilon,通常取10^-8。 ...

bestrivern的博客 9489

RMSprop原理:深入剖析RMSprop算法的核心概念

RMSprop原理:深入剖析RMSprop算法的核心概念 作者:禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来

AI天才研究院 1180

用STM32H7的FMC+AD7606搭建多通道数据采集系统:两种工作模式(查询与FIFO中断)的代码详解与性能对比

本文详细解析了基于STM32H7微控制器和AD7606 ADC芯片的多通道数据采集系统设计,重点对比了查询模式与FIFO中断模式的实现方法与性能差异。通过FMC总线实现高速并行数据采集,系统支持16bit同步采样,最高可达200Ksps/通道。文章提供了完整的代码实现和优化策略,帮助工程师在工业监测等实时性要求高的场景中构建可靠的数据采集方案。

weixin_30599769的博客 491

通俗易懂理解(梯度下降)优化算法:Momentum、AdaGrad、RMSProp、Adam

引言: 在深度学习的任务目标中,通常我们希望我们的学习结果能够在损失函数上得到一个较好的结果,即朝着损失函数最小的方向前进。但是对于大部分深度学习任务而言,其优化的目标通常是一个非凸函数,其优化难度会比较大,所以也就出现了一系列的优化函数。接下来我会用比较通俗易懂的语言来介绍一些比较著名的优化算法 回顾:梯度下降法(GD)与随机梯度下降法(SGD)的理解 Note:本文的数学符号可能会与相关书...

Invokar的博客 6112

Obsidian的Git插件设置配置全流程 -- 简单的电脑端多平台同步方案及常见问题

Git同步obsidian的保姆级教程和常见问题

weixin_44370439的博客 1万+

RMSProp优化算法(理论、公式、代码)

RMSProp(Root Mean Square Propagation)是一种自适应学习率的优化算法,主要用于深度学习中的参数更新。旨在解决 Adagrad 算法在深度学习训练过程中学习率逐渐减小直至无法进一步学习的问题。

m0_48923489的博客 1万+

别再手动建模了!用Simscape Multibody Link一键导入SolidWorks装配体到Simulink

本文介绍了如何利用Simscape Multibody Link插件将SolidWorks装配体一键导入Simulink,实现CAD到仿真的无缝衔接。该技术显著提升机械系统设计与控制效率,特别适用于工业机器人、车辆悬架等复杂机构的动力学分析。文章详细解析了插件安装、模型导出优化及仿真验证的全流程,帮助工程师摆脱手动建模的低效工作模式。

weixin_27256197的博客 466

infercnv的实操

摘要: 博主在infercnv分析中遇到执行困难,外包服务不可靠(未按要求使用HMM方法)。通过优化策略(逐样本处理、精简细胞至1000个、固定随机种子)解决了运行问题,但HMM功能仍无法实现。最终参考Cell期刊标准设置阈值完成分析,后续将继续更新进展。该案例凸显了生物信息分析中自主优化的重要性。(150字)

xiaoyusang的博客 310

一文搞懂RMSProp优化算法优化器

首发于机器学习算法与自然语言处理关注专栏写文章【优化算法】一文搞懂RMSProp优化算法忆臻​哈尔滨工业大学 计算机科学与技术博士在读73 人赞同了该文章在前面我们讲了AdaGrad算法,见下:忆臻:Deep Learning 最优化方法之AdaGrad​zhuanlan.zhihu.com而本文要介绍的RMSProp优化算法是AdaGrad算法的一种改进。首先给出AdaGrad算法:再抛出原始的...

kyle1314608的博客 8746

MATLAB - 激光雷达 - 相机联合标定(Lidar-Camera Calibration)

激光雷达传感器和相机通常在自动驾驶应用中结合使用,因为激光雷达传感器收集三维空间信息,而相机则以二维图像捕捉空间的外观和纹理。您可以融合来自这些传感器的数据来改进物体检测和分类。激光雷达-相机标定可以估算出一个变换矩阵,给出两个传感器之间的相对旋转和平移。在进行激光雷达-相机数据融合时,您可以使用该矩阵。本图说明了激光雷达和相机标定 (LCC) 过程的工作流程,我们使用棋盘格作为标定对象。我们从激光雷达和相机数据中提取棋盘角和平面,然后在它们的坐标系之间建立几何关系,进行标定。

机器人控制与仿真应用 7373

【pytorch优化器】Adagrad、RMSProp优化算法详解

模型每次反向传导都会给各个可学习参数p计算出一个偏导数g_t,用于更新对应的参数p。通常偏导数g_t不会直接作用到对应的可学习参数p上,而是通过优化器做一下处理,得到一个新的值,处理过程用函数F表示(不同的优化器对应的F的内容不同),即,然后和学习率lr一起用于更新可学习参数p,即。

All_In_gzx_cc的博客 4524

Python 爬虫进阶:淘宝热卖商品价格走势抓取、反爬与分析全流程

在大数据时代,数据是商业决策的重要依据。电商平台上的商品价格走势,对于商家调整经营策略、消费者选择购买时机都有着关键的参考价值。本篇文章将深入解析如何利用 Python 爬虫抓取淘宝热卖商品的价格走势数据,并应对其中的反爬机制,最后对数据进行分析,带领大家领略 Python 爬虫在电商领域的强大应用。

yansideyucsdn的博客 1061

第2.0章 机器人C++学习开篇(一):SLAM为什么使用C++语言及学习路线资料推荐

ROS(机器人操作系统):机器人领域的“操作系统”,提供节点通信、参数管理、工具链支持,是SLAM算法在机器人上部署的核心框架。PCL(点云库):处理三维点云数据的利器,包含滤波、分割、配准等算法,是激光SLAM的核心依赖。Eigen(矩阵运算库):高效的矩阵与线性代数运算库,SLAM中的位姿变换、优化求解都依赖它。Ceres/G2O(优化库):SLAM后端优化的“王牌”,Ceres擅长通用非线性优化,G2O则专为图优化设计,二者是BA( bundle adjustment)等算法的实现基础。

行知SLAM 1247

了解Adam和RMSprop优化算法

RMSprop和Adam都是深度学习中常用的优化算法,各自有其优势。RMSprop通过调整每个参数的学习率来处理非平稳目标,而Adam则结合了动量和均方根的思想,使得它在处理稀疏梯度和非平稳目标时表现优异。理解并灵活运用这些优化算法,将有助于提高模型训练的效率和效果。

TheJustice_的博客 1837

电磁场仿真软件:Sonnet_(12).Sonnet与其他软件的集成

Sonnet作为电磁场仿真领域的强大工具,不仅能够独立完成复杂的仿真任务,还可以通过与其他软件的集成,实现更高效的工作流程和更广泛的功能扩展。通过与CAD、EDA、数据处理软件、MATLAB、Python以及云计算平台的集成,Sonnet用户可以更好地利用现有设计资源,进行参数优化和结果分析,从而提升设计和仿真效率。希望本节的内容能够帮助你更好地理解和应用Sonnet的集成功能。

kkchenjj的博客 1434

RMSProp 优化算法

RMSProp 是 AdaGrad 的改进版,通过指数衰减机制平衡了新旧梯度的影响,有效解决了学习率过早衰减问题。它在深度学习和非平稳优化任务中广泛应用,尤其适合需要长期依赖的序列模型(如 RNN)。实际使用中,建议结合框架默认设置(如 PyTorch 的 RMSprop)和实验验证,选择合适的超参数组合。

m0_73426548的博客 1562

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

RMSProp优化算法

RMSProp优化算法 参考:【优化算法】一文搞懂RMSProp优化算法 而本文要介绍的RMSProp优化算法是AdaGrad算法的一种改进。 首先给出AdaGrad算法: 再抛出原始的RMSProp算法: 可以看出RMSProp优化算法和AdaGrad算法唯一的不同,就在于累积平方梯度的求法不同。RMSProp算法不是像AdaGrad算法那样暴力直接的累加平方梯度,而是加了一个衰减系数来控制历史信息的获取多少。见下: 1.AdaGrad算法的改进。鉴于神经网络都是非凸条件下的,RMSProp在非凸条件

weixin_37958272的博客 786

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

通俗易懂讲透AdaGrad优化算法

AdaGrad 是自适应学习率的鼻祖,在稀疏数据与凸优化里很强,但因为学习率衰减太快,不适合深度学习。。

DeepModel的博客 851

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

梯度下降优化算法-RMSProp

RMSProp 的核心思想:通过指数加权移动平均计算历史梯度平方和,自适应调整学习率。RMSProp 的更新公式Eg2tγ⋅Eg2t−11−γ⋅gt2Eg2t​γ⋅Eg2t−1​1−γ⋅gt2​θt1θt−ηEg2tϵ⋅gtθt1​θt​−Eg2t​ϵ​η​⋅gt​PyTorch 实现:使用,设置lralphaeps等参数。优缺点。

2303_77275067的博客 3078

深度学习常见优化算法,图解AdaGrad、RMSProp,Adam

该优化算法在较为平缓处学习速率大,有比较高的学习效率,在陡峭处学习率小,在一定程度上可以避免越过极小值点。在SDG优化算法中不能自适应学习率,如图1所示,在函数的初始位置比较平缓,利用AdaGrad优化算法可以很快的到达较优点,而SGD几乎没有移动。如图2所示,初始位置比较陡峭,AdaGrad优化算法会自动调整学习率,然后顺利的到达最优点,而SGD在学习率比较大的情况下会在斜坡两边来回摆动。也就是说在当前梯度与之前梯度之间添加了权重,如果当前梯度的权重较大,那么响应速度也就更快。为常数,表示学习率。

鸥鹭忘机 5791

Adam 和 RMSprop优化算法

RMSprop 是一个非常有效的、但相对简单的适应性学习率方法。Adam 在 RMSprop 的基础上增加了动量项,通常提供更好的稳定性。在实际应用中,Adam 是更受欢迎的选择,因为它通常能够更快地收敛,尤其是在复杂的深度学习模型中。在选择优化算法时,考虑具体问题的性质是很重要的,有时候可能需要通过实验来决定使用哪种算法。

Never Give Up 1604

【优化算法03】AdaGrad、RMSprop和Adam

在前面的几种优化算法优化算法01和 优化算法02中,学习率是固定的。而随着训练的向前推进,学习率应该是要不断变小的,因为如果学习率过大,那么模型会跨过极值点,来回震荡。如何对学习率进行调整呢?一种简单的策略是每更新一次参数或者到达一个阶段,就固定地减少学习率,直到学习率为0就结束训练。但是这种方法依靠人为设定,每次减少的程度是个难以抉择的值,因为设定得过大,模型会提前结束训练,设置得过小,模型需要漫长的迭代,浪费计算资源。AdaGrad借鉴动量梯度下降的思想类似,依靠历史信息来自适应地调整学习率。具体步骤如

老王的博客 941

优化算法 - RMSProp算法

来观察RMSProp算法的轨迹。回想在11.7节中,当我们使用学习率为0.4的Adagrad算法时,变量在算法的后期阶段移动非常缓慢,因为学习率衰减太快。我们将初始学习率设置为0.01,加权γ设置为0.9.也就是说,s累加了过去的。

yingzi的技术博客 1762
上一篇: 通俗易懂讲透BFGS优化算法
下一篇: 通俗易懂讲透贝叶斯优化
「已注销」
博客等级 码龄1年 312粉丝 132原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

「已注销」

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值