深度学习（六）——反向传播计算w对应的梯度

最新推荐文章于 2025-03-26 20:38:07 发布
最新推荐文章于 2025-03-26 20:38:07 发布
阅读量797 收藏 2
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41386300/article/details/102712248
版权

在这里插入图片描述
在这里插入图片描述
如下图，从下往上是第一阶段，第二阶段是从上往下
在这里插入图片描述
上图总结如下图
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上图中正向传播过程是绿色的数字，从左导右
上图中反向传播（红色数字，从右到左），算法：求偏导之后将x代入算出结果，比如第一个结点1/x，它的偏导公式在上图中有，把1.37代入得-0.53，注意这里不是把0.73也不是把1当x代入，而是把1.37代入，因为x本来就是1.37，1/1.37才等于0.73，所以x是1.37，依次类推…

  • 怎么调整w？当算出w2 的梯度为 0.2时，此时下一次的w应为 -3-（学习率*梯度0.2），这就是怎么调w的方法

上述过程就是反向传播的过程

而tensorflow不会这么一层一层求导函数，它会把整个 f 函数（比如sigmod函数//（1+e**-z））求偏导，然后代入x

使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播
及时总结
01-05 827
使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播一、what is 反向传播二、乘法节点的反向传播三、加法节点的反向传播四、加法层和乘法层混合应用 一、what is 反向传播 误差反向传播法是一种高效计算权重参数的梯度的方法。所谓的反向传播，从图上看的话，就是从右向左的传播。 举个例子，如图所示，jym买了两个100元一个的苹果，消费税是10%，最终输出支付金额，这个图就表示了一个计算的流程。正向看都能理解，就是100和2相乘得到200，作为下一个节点的入，然后200和1.1相乘
从零实现深度学习框架——优化反向传播相关代码
日积月累，天道酬勤
12-24 1022
在前面的文章中，我们实现了反向传播的模式。并实现了加法和乘法的计算图。但是这种实现方式有一些弊端，本文就来优化实现反向传播模式的代码，同时修复加法和乘法计算图实现的问题。
深度学习梯度与反向传播
weixin_53880910的博客
06-13 868
在深度学习中，多元函数通常是 复合（composite）的，所以我们可能没法应⽤上述任何规则来微分这些函数。幸运的是，链式法则使我们能够微分复合函数。
【机器学习03】神经网络的反向传播 梯度函数求解
最新发布
wangshangshang09的博客
03-26 2189
神经网络的反向传播（Backpropagation）是一种通过计算损失函数梯度来调整网络权重的算法，是训练深度学习模型的核心方法。
聊聊关于矩阵反向传播的梯度计算
Henry的博客
02-02 1631
本章采用的是 W * X = Y 的方式计算。因为资料或者书籍上面有时候矩阵乘法的顺序会不一样，有的还会加上转置等等。其实这些都是为了满足矩阵乘法规则为了不会混乱，可以这样记忆。可以不用考虑乘法的顺序或者有无转置A * B = C 的矩阵乘法计算谁的时候，就用反向传递的值替换掉谁，然后将另一个元素转置。顺序不变例如：计算W梯度的时候，用反向传递的值替换掉W，变成 y * X（这里y是反向传递的值，本章y = 2 Y）然后另一个元素转置，变成y * X（转置）
梯度下降案例（反向传播）求w
weixin_45116096的博客
06-17 105
# 导入模块 import tensorflow as tf # 初始化权重，学习率，迭代次数 w = tf.Variable(tf.constant(5,dtype=tf.float32)) lr =0.1 epoch = 40 # 反向传播 for epoch in range(epoch): #循环epoch次 with tf.GradientTape() as tape: # 梯度下降 loss = tf.square(w+1) # 损失函数 grads = ta
【深度学习】7-矩阵乘法运算的反向传播求梯度
成长之路
09-02 7650
本节以较简单的例子来理解矩阵乘法下的反向传播过程。为了稍微形象一些，这里同样会用到计算图来进行描述。
PyTorch深度学习实践——反向传播
m0_60458471的博客
08-24 1044
总结： 在这一节的学习中，学习到反向传播相关知识，对于反向传播算法，同样也是通过三个方面来进行总结：反向传播算法是什么？为什么需要反向传播？如何实现反向传播？ 反向传播算法是什么？ 回顾之前学习的简易的线性模型，我们拿到相应的输入x，然后通过权重值w和x相乘得到对应的输出y_hat，最后通过真实值y与y_hat作损失，通过梯度下降或者穷举的方法找到loss的最小值，然后对w进行更新，将线性模型使用简单的神经网络(Neurn)表示得到以下图： 然而我们知道，深度学习模型不都是简单...
深度学习之路（2）梯度计算原理-反向传播
NO_1967的博客
06-30 948
书籍参考 参考英文在线书籍 Neural Networks and Deep Learning 第二章。 博文提要 上篇讲了代价函数、梯度下降法进行学习调参的过程，但是没有讲怎么计算梯度！一个快速计算的方法就是反向传播。 该篇着重介绍这两个概念，偏数学一些，数学兴趣不浓的话可以快速浏览，懂不懂没关系，不影响后续学习。在实践中也不需要你懂得反向传播，函数库底层都封装好了，你直接调用即可。但是懂得它会有个好处，让你更深刻理解调参怎么影响的神经网络。要弄懂这，需要大量的记忆上的重复，产生条件反射，看到文字或符号就
深度学习理论——随机梯度下降法(SGD) & 反向传播
热门推荐
Miss_yuki的博客
06-08 1万+
大家好，一直在用深度学习，但是感觉理论并不扎实，打算开始补点理论基础，在优快云上记录下来。 今天介绍随机梯度下降法和反向传播，首先介绍梯度下降法。 1.梯度下降法 梯度下降法是从初始值开始，向函数上当前点对应梯度的反方向的规定步长的距离点进行迭代搜索，最终得到最小值的过程。公式简易推导如下： 更直观的图像表示如图所示： 这是学习率为0.001，迭代两百次的示意图，当学习率设的更...
从零实现深度学习框架——实现Tensor的反向传播
日积月累，天道酬勤
12-22 2024
在常见运算的计算图中，我们了解了加减乘除等运算的计算图。本文通过代码实现加法和乘法的计算图来了解我们的`Tensor`自动反向传播计算梯度的模式。
反向传播梯度的计算
fly_Xiaoma的博客
06-29 2613
适用pytorch中Variable()函数中的backward()自动计算梯度 手动实现梯度计算（缺点：计算网络复杂时容易出错，难以检查） # -*- coding: utf-8 -*- #@Time :2019/6/29 18:36 #@Author :XiaoMa import torch as t from torch.autograd import Variable as V...
深度学习实践 反向传播算法(在图上进行梯度传播非常重要的算法)
EP的别三日
10-28 1458
文章目录Back Propagation知识代码： Back Propagation 知识 w.item()： 可以直接将梯度变成标量 w.data: 取数值进行计算 不会构建计算图 w.zero_(): 释放数值 对其清零 计算过程可以看作在图上进行梯度传播 训练的目的：使Loss取更新。计算Loss对w的导数，对w进行更新。因为目标不是y_pred取最小，而是使损失Loss取最小。 如何将复杂的网络看成图，在图上传播梯度，根据链式法则求出梯度。（反向传播：Back propagation） W：权重矩
神经网络的反向传播求梯度
y_woshixiaowen的博客
03-06 163
我的学习笔记.参考：https://www.cnblogs.com/sumwailiu/p/13610588.html 1. 数学基础：参考：https://www.cnblogs.com/sumwailiu/p/13398121.html 2.tensorflow中有求梯度的函数直接调用。可以自行验证。 3.代码： import pandas as pd import numpy as np import tensorflow as tf np.random.seed(0) def cros.
Tensorflow(5):梯度下降，激活函数，反向传播及链式法则，fashionMNIST实战，kerasAPI，自定义网络层，加载和保存模型，CIFAR10实战
JJJJJJames的博客
01-28 787
1、梯度下降 what is gradient 导数，derivative 偏微分 partial derivative 梯度，gradient 梯度是每一个轴的偏微分组合而成的向量 what does it mean 梯度的方向是函数值变大的反向 how to search 按照梯度反向更新 autograd with tf.GradientTape()as tape: [w_grad]=tape.gradient(loss,[w]) presistent GradientTape 可以再
纯keras自定义梯度
qq965194745的博客
02-14 2112
纯keras不可能实现修改梯度的操作，需要研读后端的资料，已被keras大神解答 http://www.tensorfly.cn/tfdoc/how_tos/adding_an_op.html#AUTOGENERATED-implement-the-gradient-in-python ...
一步一步教你反向传播，求梯度(A Step by Step Backpropagation Example)
勿以恶小而为之,勿以善小而不为
02-20 3880
本文是我在学习反向传播时翻译的一篇文章。原文链接如下。 A Step by Step Backpropagation Example 实例学习 在这个例子里，我们将制作一个小型神经网络。它有连个输入，两个隐藏的神经元，两个输出神经元。 此外，隐藏和输出的神经元都包含了一个偏差（bias）。下图是这个神经网络的结构。 下面我们给各个参数设定一些值。权重(w) , 偏差(b) 和用来训练的输入输出 ...
13-反向传播法求梯度
ajream的博客
08-02 3013
文章目录反向传播法求梯度梯度下降求最小值 反向传播法求梯度 利用计算图求梯度是一种比较方便又快速的方法，如何利用计算图求梯度？先回忆一下计算图： 以 z=x2+y2z=x^2+y^2z=x2+y2 为例： 计算图以箭头和节点构成，正向传播时，得到的结果是 z=x2+y2z=x^2+y^2z=x2+y2 反向传播时，得到的结果是：∂L∂z×2x\frac{\partial L}{\partial z}\times 2x∂z∂L​×2x 和 ∂L∂z×2y\frac{\partial L}{\part
对于深度学习中梯度下降和反向传播的理解
番茄炒蛋三分糖
09-26 2808
对于深度学习任务的理解，梯度下降和反向传播的理解。
深度学习的基础反向传播理论数学推导
01-04
### 深度学习中反向传播算法的数学原理 #### 1. 神经网络中的前向传播 在一个多层感知机（MLP）模型中，输入数据 \( x \) 经过一系列线性和非线性变换最终得到输出预测值 \( y' \)[^1]。假设有一个简单的三层神经网络，包含一个输入层、一个隐藏层以及一个输出层。 对于第\( l \) 层到第 \( l+1 \) 层之间的传递函数可以表示为： \[ a^{l} = f(z^{l})=f(W^{l}a^{l-1} + b^{l}) \] 其中， - \( W^{l} \) 表示当前层相对于下一层的权重矩阵； - \( b^{l} \) 是偏置项； - \( z^{l}=W^{l}a^{l-1} + b^{l}\)，称为加权输入或净激活； - \( a^{l} \) 则是经过激活函数后的实际输出；而 - 函数 \( f(\cdot)\) 即为所使用的激活函数，比如Sigmoid, ReLU等[^2]。 #### 2. 定义损失函数并计算梯度 为了评估模型性能好坏，定义了一个衡量真实标签 \(y\) 和预测结果之间差异程度的目标函数——损失函数 \( L(y', y) \) 。常见的有均方误差(MSE),交叉熵(Cross Entropy Loss)等形式[^3]。 当给定一组训练样本及其对应的真值之后，就可以利用链式法则来逐层回溯地求得各参数关于总损失的变化率: \[ \nabla_{W^{L}} J=\delta ^{L}(a^{L-1})^\top \\ \nabla_{b^{L}}J=\delta^{L} \] 这里的 \( \delta^{L} \) 称作局部敏感度(local sensitivity)，它反映了最后一层输出单元对整体代价的影响大小。具体来说， 如果采用的是平方差形式，则可进一步写成： \[ \delta^{L}=(y'-y)f'(z^{L}) \] 而对于中间隐含层而言，由于它们既受到来自上游节点的压力也会影响到下游节点的表现，因此需要综合考虑这两方面因素来进行调整： \[ \delta^{l}=[(W^{l+1})^\top\delta^{l+1}]⊙f'(z^{l}) \] 此处运算符 "⊙" 表明这是两个同维度数组做Hadamard Product (element-wise product). #### 3. 参数更新规则 有了上述各个部分对其贡献的比例关系后，便可以根据随机梯度下降(SGD)的思想，在每次迭代过程中按照一定步长η沿负梯度方向移动相应量级从而实现自动微调的效果： \[ ΔW=-η∇_WJ\\ Δb=-η∇_bj \] 综上所述，这就是完整的BP算法流程图解说明[^4]。 ```python def update_parameters(parameters, grads, learning_rate): """ Update parameters using gradient descent Arguments: parameters -- python dictionary containing your parameters grads -- python dictionary containing your gradients Returns: parameters -- python dictionary containing updated parameters parameters["W" + str(l)] = ... parameters["b" + str(l)] = ... """ L = len(parameters) // 2 # number of layers in the neural network # Update rule for each parameter. for l in range(L): parameters["W" + str(l+1)] -= learning_rate * grads['dW' + str(l+1)] parameters["b" + str(l+1)] -= learning_rate * grads['db' + str(l+1)] return parameters ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值