深度学习小白——反向传播

深度学习入门：反向传播详解
最新推荐文章于 2025-07-28 10:21:44 发布
最新推荐文章于 2025-07-28 10:21:44 发布
阅读量1.5k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/margretwg/article/details/66974869
这篇博客详细解释了反向传播的概念，通过链式法则理解如何从输出反向计算每个参数的梯度。作者以加法门、sigmoid函数为例，阐述了在反向传播中如何处理不同门单元的梯度计算，并强调了分段计算和中间变量缓存的重要性。最后，通过一个4-layer简化模型展示了反向传播的过程。

一、理解

函数关于每个变量的导数指明了整个表达式对于该变量的敏感程度

梯度▽f是偏导数的向量，所以有\nabla f(x)=[\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}]=[y,x]，



直观理解链式法则，f=q*z, q=x+y ,先进行前向传播，从输入计算到输出（绿色），然后反向传播从末端开始，根据链式法则递归地向前计算梯度，一直到输入端。

在整个反向传播过程中，每个门单元应将回传的梯度乘以它对其输入的局部梯度，从而得到整个网络的输出对该门单元的每个输入值的梯度

例如上图，加法门收到输入[-2,5]，计算输出3，则对于两个输入的局部梯度是+1,网络的其余部分

最低0.47元/天 解锁文章

200万优质内容无限畅学
MargaretWG
关注
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 34万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
2020-09-17——神经网络小白初探——感知学习和反向传播算法
weixin_45508658的博客
09-17 1268
这里写自定义目录标题标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 标题 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何
深度学习之反向传播
2202_76009199的博客
01-27 2196
在这个图中，最左边五个输入表示的是输入的x1到x5，连线表示经过和权重的混合运算，，第二层是隐藏层，输入的样本数量是5，输出的样本数量是6，那么输出相当于是输入6*5的权重矩阵*5*1的样本矩阵得到的结果。在图中，我们的x并不是表示我们的初始输入，我们表示的是某一层的输入，该层可能是隐藏层，那么这时x是原始样本输入经好多权重的运算得到的结果，只有求出loss对x的梯度，才能前馈得到loss对前面权重的梯度。在计算图中，对于不同的计算模块（绿色部分），它求局部的偏导的方法是不同的。
深度学习 --- 反向传播算法
最新发布
m0_73338216的博客
07-28 566
深度学习中的反向传播算法简介 本文介绍了深度学习中的核心算法——反向传播（Backpropagation）。主要内容包括： 前向传播过程：详细阐述了神经网络从输入层到输出层的计算步骤，包括线性变换和激活函数应用，并给出了三层神经网络的前向传播公式。 梯度下降算法：作为反向传播的基础，讲解了梯度下降的原理、数学公式和实现步骤，重点分析了学习率的选择策略及其对训练的影响。 两种梯度下降变体：对比了批量梯度下降（BGD）和随机梯度下降（SGD）的优缺点，BGD使用全量数据计算梯度但计算量大，SGD每次仅用单个样本
深度学习-反向传播
09-07
深度学习在现在如此高的利用率要向大家一起分享一些我记录的文档还有我遇到的一些问题和解决的问题还有一些盲区和概念。
深度学习——反向传播（Backpropagation）
热门推荐
johnny_love_1968的博客
06-05 3万+
反向传播算法（Backpropagation） 文章目录反向传播算法（Backpropagation）一.简介二.反向传播原理2.1 导数的链式法则2.2 正向传播与反向传播三.总结 一.简介 无论是机器学习，还是深度学习。都绕不开一个梯度下降。在进行深度学习简介的时候，我们有介绍过深度学习的大致步骤，分别为： 构建神经网络 数据拟合 选出最佳模型 其中，选出最佳模型的方式，其实就是利用梯度下降算法，选出损失函数最小的那个。在传统的机器学习当中，这个比较容易，直接算就行了。但是在深度学习当中，由于存在输
深度学习：反向传播算法
wyy202206174248的博客
07-11 791
反向传播(Backpropagation, BP)算法作为深度学习的核心算法，运用链式法则高效计算神经网络中各参数的梯度，为模型优化指明方向。本文将详细讲解该算法的原理、实现及优化技巧，并附上完整的代码实例。算法优点缺点适用场景批量GD稳定收敛计算开销大，内存要求高小数据集随机GD计算快，可在线学习收敛不稳定大数据集，在线学习小批量GD平衡计算效率和稳定性需要调batch size大多数场景Momentum加速收敛，减少震荡需要调动量参数深网络，高维参数。
PyTorch深度学习实践——反向传播
m0_60458471的博客
08-24 1072
总结： 在这一节的学习中，学习到反向传播相关知识，对于反向传播算法，同样也是通过三个方面来进行总结：反向传播算法是什么？为什么需要反向传播？如何实现反向传播？ 反向传播算法是什么？ 回顾之前学习的简易的线性模型，我们拿到相应的输入x，然后通过权重值w和x相乘得到对应的输出y_hat，最后通过真实值y与y_hat作损失，通过梯度下降或者穷举的方法找到loss的最小值，然后对w进行更新，将线性模型使用简单的神经网络(Neurn)表示得到以下图： 然而我们知道，深度学习模型不都是简单...
深度学习小白——卷积神经网络可视化（一）
MargretWG的博客
04-07 9099
一、可视化最大激活神经元的一些pathces 例如在这个AlexNet的pool5层任选一个神经元，然后喂给它大量的图片，看哪种图片最能激活该神经元 比如上面两行代表使神经元激活值最大的一些图片，白框是感受野，数值即为激活值，第一个神经元似乎对人很敏感，下面那个对dots或狗狗比较敏感 2. 对weights的观察 我们还可以对卷积第一层的raw filters 进
深度学习--反向传播
qq_39301447的博客
08-07 207
CNN模型的训练主要通过反向传播（Back Propagation,，BP）算法实现，该算法由误差信息通过链式传导，不断更新隐含层之间的权重矩阵，直到误差信息变小，网络收敛。模型使用正向传播和反向传播算法，通过不断地迭代，调整网络模型中的权重和偏置，充分拟合目标函数，使网络模型性能达到最好。根据上述公式获取权重和偏置的梯度后，使用梯度下降公式对权重和偏置进行更新。对偏置的梯度进行计算。
【深度学习】反向传播
H2WO4的博客
08-01 3653
（Forward Propagation）是神经网络中的一个过程，它是神经网络从输入数据到输出结果的推导过程。在正向传播过程中，输入数据通过神经网络的各个层，逐层进行计算和变换，最终得到神经网络的输出结果。具体来说，正向传播包括以下步骤：1. 输入数据传入输入层：将输入数据传入神经网络的输入层。2. 加权求和：输入数据通过连接输入层的神经元到下一层的连接权重，进行加权求和。每个神经元都有一个偏置项，用于调整加权求和的结果。
深度学习之——反向传播
GWENGJING的博客
09-10 1563
我们就将利用前向计算所得到损失函数进行反向传播。
PyTorch深度学习：反向传播
m0_63567560的博客
07-08 595
深度学习pytorch反向传播
深度学习与反向传播
weixin_40773214的博客
01-16 521
1.深度学习 （1）学习的三个步骤： Step1：神经网络（Neural network） Step2：模型评估（Goodness of function） Step3：选择最优函数（Pick best function） （2）神经网络 组成：输入层（1层）+隐藏层（N层）+输出层（1层） 从输入层到输出层的中间过程可做如下理解： 计算方法就是：sigmoid（权重w【黄色】 * 输入【蓝色】+ 偏移量b【绿色】）= 输出 其中，σ为激活函数。 问题： 隐藏层有多少层？
深度学习理论篇之 (七) -- 反向传播
xyl666666的博客
12-06 1262
科普知识BP算法(即反向传播算法)适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上。BP网络的输入输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是...
深度学习反向传播的理解
dulingmo的博客
11-08 1693
我认为反向传播可以大致理解为用多个线性函数复合一个非线性函数去拟合一类问题的过程，根据这一类问题中一个样本的正向传播计算得到的结果，再根据预测的结果与实际结果的差异反向传播得到预测的结果对这个函数的影响，从而提高下一次结果预测的准确率。这个过程的原理有些类似先验概率的求法。 而关于反向传播的算法，我觉得最重要的一点就是链式求导的实现，导数的求法并不是最重要的，关键在于实现程序的过程能不能把“链式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值