反向传播之梯度更新

往事如yan 往事如yan 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.9k累计阅读 1.9k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄17年
关注
原创 最新推荐文章于 2026-05-25 09:15:00 发布 1.9k 阅读 AI 写同款· GEO 优化 ›
反向传播本质：神经网络中的误差归因与梯度更新机制 反向传播是深度学习模型训练的核心机制，其本质是基于链式法则的误差归因过程——将输出层的损失逐层分解，精准计算每个权重对最终误差的贡献度。它并非黑箱魔法，而是由前向传播、误差计算、反向传递和权重更新四步构成的确定性流程。该机制支撑着梯度下降类优化器（如SGD、RMSprop、Adam）的实际运作，决定了模型能否稳定收敛。在图像识别、自然语言处理等任务中，正确实现反向传播直接关系到训练效率、泛化能力与debug可行性。本文聚焦MNIST手写数字识别场景，结合NumPy手写实现与Keras工程实践，揭示反向传播在 阅读详情

 

关于梯度的概念

梯度是微积分中一个很重要的概念，之前提到过梯度的意义

  • 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
  • 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向。

这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最低点！ 

因此整个深度网络可以视为是一个复合的非线性多元函数。
 

2.3.2 梯度要乘以一个负号
梯度前加一个负号，就意味着朝着梯度相反的方向前进！我们在前文提到，梯度的方向实际就是函数在此点上升最快的方向！而我们需要朝着下降最快的方向走，自然就是负的梯度的方向，所以此处需要加上负号；那么如果时上坡，也就是梯度上升算法，当然就不需要添加负号了。
原文链接：https://blog.youkuaiyun.com/qq_41800366/article/details/86583789

 

梯度的更新

深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）

梯度grad公式_梯度消失梯度爆炸-Gradient Clip

各种优化算法，其实就是对学习率的改变，有的是对学习率和上一次的梯度等综合考虑，来改变这一次的梯度的计算方法。

 

 

 

2.公式推导

我看的这篇推到文章，例题的形式很清晰

收录于
AI基础

当前文章被收录于：

AI基础
55 篇文章 2 人学习
订阅专栏 查看详情
深度学习概念

当前文章被收录于：

深度学习概念
27 篇文章 8 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
AI算力网络中的反向传播：梯度下降与权重更新详解 本文旨在为读者提供关于反向传播算法的全面理解，特别是梯度下降和权重更新的详细机制。我们将覆盖从基础概念到实际实现的完整知识链，适合希望深入理解深度学习底层原理的读者。文章将从基础概念讲起，逐步深入到数学原理和代码实现，最后讨论实际应用和未来发展趋势。每个部分都配有直观的比喻和清晰的图示，确保读者能够轻松理解。反向传播(Backpropagation): 一种高效计算神经网络中梯度的方法，通过链式法则从输出层向输入层反向传播误差。梯度下降(Gradient Descent) 阅读详情

相关推荐

实例讲解Simulink CAN通讯丢失故障判定模型搭建及仿真测试验证方法

本文通过ABS通讯丢失故障触发、判定条件Simulink模型的搭建和仿真的讲解，介绍了一种控制器CAN通讯丢失故障判定的方法和建模方法，希望能给相关技术人员带来一定参考和帮助。

qq_43011586的博客 3685

[深度学习] --入门知识 -- 梯度相关

梯度下降法、反向传播、梯度消失、梯度爆炸、神经元死亡（未完成） 文章目录梯度下降法、反向传播、梯度消失、梯度爆炸、神经元死亡（未完成）前言一、梯度更新是x0=x0−μx0′x_0 = x_0-\mu x_0'x0​=x0​−μx0′​二、反向传播三、梯度消失四、梯度爆炸五、神经元死亡总结 前言 经常会跟想学深度学习的朋友讲解一些入门知识，有时候也会忘记些内容，今天抽空把这些内容想到的先写下来，后续不断填坑… 一、梯度更新是x0=x0−μx0′x_0 = x_0-\mu x_0'x0​=x0​−μx0

LY_970909的博客 1049

别再死磕USB HID了！用ESP32的Arduino框架手把手教你实现蓝牙鼠标键盘（附完整代码）

本文详细介绍了如何使用ESP32的Arduino框架实现蓝牙HID设备，包括鼠标和键盘的快速开发。通过现成的库和示例代码，开发者可以轻松打造自定义蓝牙外设，无需复杂的USB HID协议栈，适用于演示控制器、宏键盘等多种场景。

weixin_31309419的博客 260

神经网络之梯度更新

神经网络之梯度更新 tensorflow 2.2 本文主要讲解的是线性模型的梯度更新示例，主要包含有：数据采集、误差累计、梯度计算以及梯度更新四个部分。 –1 数据准备部分 使用的数据集是随机点生成，主要实现的是模拟y=wx+b函数的参数回归计算。 data = [] # 数据集的列表 for i in range(1000): # 循环采样100个点 x = np.random.uniform(-10., 10.) # 随机采集样本数据，范围[-100., 100.]

Silly_oo的博客 2896

车联网ECU、TSP与TBOX通信流程

对比维度ECU（电子控制单元）BMS（电池管理系统）应用场景传统燃油车 + 新能源汽车仅限新能源汽车核心作用控制整车各系统运行管理动力电池安全与寿命车联网角色数据采集与传输的核心载体提供电池相关的核心数据。

tecoes的博客 1233

Debian 11 下用hostapd+dnsmasq搭建WiFi热点：从命令行到实战（避坑指南）

本文详细介绍了在Debian 11系统上，使用hostapd和dnsmasq从命令行搭建稳定WiFi热点的完整实战流程。内容涵盖环境准备、无线网卡AP模式检查、服务深度配置，并重点提供了从服务启动失败到客户端无法上网等常见问题的系统性排错指南，帮助用户避开配置陷阱，成功创建可用的无线接入点。

CAT789的专栏 772

【详解】神经网络梯度更新方法

目录神经网络参数更新方法1、SGD2、MBGD3、Momentum update4、Nestrevo Momentum update5、Adagrad6、AdaDelta7、RMSprop8、Adam 神经网络参数更新方法 1、SGD SGD（Stochastic Gradient Descent）就是最常见的随机梯度下降。 向着参数的梯度的负方向改变（梯度方向是增加的方向）。 x+=−learning_rate∗dx x += -learning\_rate*dx x+=−learning_r

一个内容严谨、方向前沿、极具实践价值的AI大模型技术分享站 5801

SIwave：在 SIwave 中释放计算频率扫描的强大功能

AEDT 的电路工具允许注入正确的电压和电流。要使用电路工具，SIwave 必须首先使用 PI 求解器求解结构的 S 参数。

jkh920184196的博客 1476

理解梯度下降：从梯度到多步迭代更新

对于一个多元函数fx1x2xnfx1​x2​xn​，其在点x1x2xnx1​x2​xn​∇fx1x2xn∂f∂x1∂f∂x2∂f∂xn∇fx1​x2​xn​∂x1​∂f​∂x2​∂f​∂xn​∂f​我们的目标是最小化函数fxyx22xyy2fxyx22xyy2。

weixin_51524504的博客 2109

基于ESP32与PCM5102的WiFi无损音频传输系统设计与实现

本文详细介绍基于ESP32与PCM5102的WiFi无损音频传输系统设计与实现。通过I2S接口直接传输PCM数据，避免SRC重采样，实现真正的HIFI级音质。涵盖硬件连接、软件架构、网络传输优化及实际音质对比，为音频爱好者提供高性价比的无损无线音频解决方案。

rnn9storyteller的博客 948

计算分子相似度（摩根分子指纹计算）

import numpy as np import pandas as pd import seaborn as sns import matplotlib as plt from rdkit.Chem import Draw from rdkit.Chem import AllChem as Chem from rdkit.Chem import PandasTools from rdkit import DataStructs data = pd.read_csv(r'47_covidLead.csv'

weixin_39417324的博客 1387

反向传播理论更新梯度分析（超级详细附图）

这就是对一个前向传播中的某个参数进行梯度更新的过程，当然这个更新过程不可能是一次完成的，在进行完一次反向传播更新梯度后紧接着会进行下一个前向传播，然后重新计算误差，这样多次循环之后会使得损失值逐渐降低，当达到某个设定值时这个循环更新梯度的过程就会停止，从而完成一整个训练流程。这是一个简单的三层神经网络X1和X2都是输入的数据，每个蓝色球就代表一个神经元，而每个神经元是由两个部分组成，一个是输入值X和权重系数W的线性方程，即表示为e=WX+b,b是偏置，上面这一行的e就是指的神经元的e。

weixin_55189321的博客 1万+

RT-DETR训练前的准备，将数据集划分成训练集、测试集验证集（附完整脚本及使用说明）

在计算机视觉领域，当我们着手训练一个模型时，。其中，将数据集划分为和更是一项基础性且关键的操作。这篇博客分析了这一划分背后的原因、其重要意义以及如何通过代码实现，帮助大家更好地理解和运用这一技巧，。

Limiiiing的博客 906

反向传播中 batch 内梯度更新的具体流程

ypredσWxbypred​σWxbx是输入样本x 是输入样本x是输入样本W是2维权重矩阵W 是 2 维权重矩阵W是2维权重矩阵b是偏置b 是偏置b是偏置σz11e−z是Sigmoid激活\sigma(z) = \frac{1}{1 + e^{-z}} 是 Sigmoid 激活σz1e−z1​是Sigmoid激活每个样本单独通过网络，生成预测值。计算损失。对每个样本独立计算梯度。

weixin_67251822的博客 1068

efm32 入门.pdf

本PDF共计22页，介绍的是操作驱动API，下载与否自己斟酌。

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

前向传播、反向传播、更新梯度

反向传播与权重、偏置更新过程

Mushuroom的博客 960

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

反向传播更新梯度的作用：

反向传播求梯度，就像我们站在山上的某个位置（想当于我们现在模型有的具体参数信息），想要以最佳的路线去到山下（取到最好的参数数据，使得损失值是最小）。首先，直观的方法就是环顾四周，向下山最快的方向走一步（数据里面体现为反向梯度走一个学习率），然后再次重复（环顾四周，找到最快的方向，再走一步），直到下山——这样的方法便是朴素的梯度下降——当前的海拔是我们的目标函数值，而我们在每一步找到的方向便是函数梯度的反方向（梯度是函数上升最快的方向，所以梯度的反方向就是函数下降最快的方向）。疑惑一：得到梯度有什么用？

qq973768874的博客 509

【深度学习】第四章：反向传播-梯度计算-更新参数

简单的说，求导就是求梯度，有了梯度就可以更新参数，更新了的新参数就是损失函数减小的一组参数，如此往复，就是模型学习样本数据，就是我们训练了模型。当损失函数小到我们可以接受的程度，此时的模型就是最优的模型，此时的模型就可以很好的帮我们人类预测样本了。我们计算loss关于w、b的偏导，从几何角度看，就是在loss函数的(w,b)点，找到了loss的切面，而沿着这个切面的反方向就是loss下降最快的方向，所以当(w,b)沿切面反方向走到(w',b')时，loss就变小了一点。从模型角度来说，就是模型学习的过程。

因为热爱所以坚持 3254

大模型的反向传播，到底在更新什么？一文讲透梯度流动的本质（小白也能懂）

本文详细解析了大模型训练中的反向更新过程，通过类比人类学习（做题-对答案-调整思路）解释了正向传播和反向传播的原理。文章介绍了梯度（函数变化最快的方向）和梯度下降算法（沿负梯度方向调整参数以最小化损失值）的概念，解释了交叉熵损失函数如何衡量预测与目标的差异，以及学习率如何控制参数更新步长。最终，通过反向传播计算各层梯度并更新模型权重和偏置，使模型预测结果不断逼近预期结果。

2401_85154887的博客 926

图解反向传播：从梯度流动到权重更新

本文通过图解方式详细解析了反向传播算法（BP）的工作原理，从梯度流动到权重更新的全过程。通过Python代码示例和数学推导，展示了误差信号如何在神经网络中逆向传播并调整参数，帮助读者深入理解这一核心算法。文章还探讨了现代框架中的实现技巧及常见问题的解决方案，如梯度消失和学习率选择。

weixin_29048309的博客 388

反向传播梯度更新全流程拆解（附详细计算步骤）

本文详细拆解了反向传播算法的全流程，从梯度分析到权重更新，通过具体计算步骤展示了神经网络如何通过误差反向传播和链式法则进行学习。文章以三层全连接网络为例，结合Sigmoid激活函数和均方误差，逐步演示了前向传播、误差计算、梯度推导及权重更新的完整过程，帮助读者深入理解深度学习的基础机制。

weixin_29099217的博客 251

神经网络中，前向传播、反向传播、梯度下降和参数更新是怎么完成的

这个过程通常会进行多个训练迭代，直到达到预定的停止条件（例如达到指定的训练轮数或损失函数收敛）。通过不断地调整参数并最小化损失函数，神经网络能够逐渐提升其性能和准确性。

brytlevson的博客 3082

神经网络反向传播更新梯度的过程

神经网络反向传播更新梯度的过程

axiaoquan的专栏 1180

反向传播、反向推导梯度更新

定义一个简单的网络： 首先回顾前向过程，是这样的： Sigmoid激活： 开始推导反向传播了： 目标损失函数： 在本例当中就是： 我们以更新W4为例子来展开反向推导： 梯度更新W4 ： 根据链式法则： ...

liu_yuan_kai的博客 928

深度学习梯度清零、反向传播和参数更新

在深度学习中，梯度清零、反向传播和参数更新通常在每个训练迭代中执行，以确保模型能够逐渐学习到数据的内在模式。

2301_77444219的博客 901

【笔记】parameters.requires_grad=False ：误差仍然反向传播，梯度不更新

首先要明白，误差回传与否，与 requires_grad 的值没有关系。 取决于 loss.backward( ) 。 再来看误差回传过程中规定是，parameters的梯度计算关闭。 param.requires_grad = False 我们要知道，param 包括的无非是 权重 和 偏置值。 而权重和偏置值并不影响误差反向传播，误差反向传播计算的是每一层激活前神经元的偏导值。 计算激活前神经元偏导值DZ并不需要 DW 和 DB 的参与（一般涉及到DA 和 W）。 综上： p...

nyist_yangguang的博客 7453

自定义的模型与损失函数如何实现反向传播与更新梯度

***************************************************解答*****************************************************数据经过多个自定义的模型，并且损失为多个自定义的损失函数之和，在这种情况下如何实现反向传播与更新梯度？可以先将多个自定义网络和loss组成一个大网络，然后大网络调用model.train实现训练。（替换原有的loss.backward()/opt.step())

weixin_45666880的博客 632
上一篇： 目标检测里的损失函数
下一篇： 一些优秀博客主的文章汇总
点赞 0
评论 0
书签 书签 1
往事如yan
往事如yan
博客等级 码龄17年 1076粉丝 453原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事如yan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值