推导反向传播中的dZ=A - y

最新推荐文章于 2024-08-20 08:54:08 发布
原创 最新推荐文章于 2024-08-20 08:54:08 发布 · 2.7k 阅读 · 31 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#AI #deeplearning

本文详细推导了深度学习反向传播过程中dZ=A - y的计算过程，从基本的链式法则出发，结合逻辑回归的损失函数和sigmoid激活函数的导数，最终得到向量化后的表达式。同时，解释了在向量化时加入求平均的原因，以避免数值过大的问题。此推导是对吴恩达深度学习课程内容的补充和回顾。

在吴恩达老师的反向传播课程中，涉及到如下公式：

dz = da * g^{'}(z)，在向量化后为 dZ = A - Y，下述为推导过程：

因为 da =\frac {\partial J(w,b)} {\partial a}，且J(w,b) = \frac {1}{m} \sum_{i=1}^mL(\hat y,y)，在最后一层网络中\hat y = a

故

最低0.47元/天 解锁文章
CS231n笔记三：神经网络之反向传播
weixin_55953478的博客
06-18 540
在这个计算图中，节点表示一种计算操作。 下图就是损失函数L的计算图。即输入x和W，首先将x和W进行矩阵乘，得到分数s；随后计算hinge loss和正则化R(W)，之后将二者相加得到最终的L。 应用这种计算图的框架，我们可以求出任意复杂函数的解析梯度。定义 反向传播是链式法则的递归调用。具体的计算过程如下： 1、从最后开始往前算，即首先计算df/df，显然为1； 2、之后计算df/dz，因为df/dz = q，而q=x+y=3，故df/dz = 3； 3、同理，可以计算得df/dq = -4； 4、之后
神经网络的反向传播公式推导
hywel_xue的博客
08-22 1993
写在前面 机器学习算法工程师的面试中常会问到一个很基础的问题，那就是反向传播公式的推导，今天看了下吴恩达老师的公开课《神经网络和深度学习》，将一些推导过程记录下来。 逻辑回归反向传播的推导 逻辑回归是最简单的神经网络，先从逻辑回归入手，有助于后面的理解。 上图是一个逻辑回归正向传播的示意图。具体细节不再描述。 损失函数L(a,y)=−yloga−(1−y)log(1−a)L(a,y)...
deeplearning.ai-正向和反向传播算法公式
menghaocheng的专栏
11-25 611
【正向和反向传播】 【梯度下降i法】 【逻辑回归代价函数】 【实现神经网络的步骤】 【浅层神经网络例子】 import numpy as np def sigmoid(x): """ Compute the sigmoid of x Arguments: x -- A scalar or numpy array of any siz...
Deep Learning 学习笔记（三）：神经网络反向传播算法推导
arsenicer的专栏
02-08 4203
神经网络反向传播算法的推导
神经网络与深度学习笔记（番外）反向传播推导
沧夜的成长日记
07-06 701
文章目录回顾推导dz[l]dz^{[l]}dz[l]的证明dw[l]dw^{[l]}dw[l]的证明db[l]db^{[l]}db[l] 的证明da[l−1]da^{[l-1]}da[l−1] 的证明 回顾 我们设 n[l]n^{[l]}n[l] 为第 lll 层的单元数 则它们的维数 w[l],dw：(n[l],n[l−1]) w^{[l]}, dw ：(n^{[l]},n^{[l-1]})\\ w[l],dw：(n[l],n[l−1]) b[l],db：(n[l],1) b^{[l]}, db ：(n^
反向传播之矩阵求导dL/dz1的求导过程 普通神经网络的逆向求导过程
nyist_yangguang的博客
12-16 876
全都是那神的功劳，辅导我将反向传播dL/dz1推导了一遍。那神威武，祝愿那神考上清北的研究生！
2.9 Logistic回归中的梯度下降法
IAN27的博客
09-08 723
举例，使用之前定义的logistic回归的公式 现在我们通过计算图写出这个样本的流程图 > 假设样本中，只有两个特征x1和x2 为了计算出z，还需要w1，w2，以及b参数> 然后，我们通过z去计算y ̂ ==> 最后计算，损失（误差）函数L ==> 综上，在logistic回归中，我们需要做的就是通过变换w与b的值，去让损失函数变成最小值。 在之前，我们已经描述了前向传播的步骤，在单个训练样本上计算损失函数。接下来让我们讨论一下怎么向后计算偏导数。 我们的目标是找到损失函数的
Summary of gradient descentdz[2]= a[2]-ydz[2]= A[2]-Ydwl2]= -dzl2Am?1 dwl2]= dzl2]a[1]" db[z] = dz[2] dbl2] = -np. sum(dzl2l,axis = 1,keepdims = True)dz[1] = w[2]™dz[2] * g[1]'(z[1]) dz[ = w[2]dz[2]* gЩ'(z[1) dwl]= -dzDxTdbl1]=-np,sum(dzl1,axis = 1,keepdims = True)10 dw[1] = dz[1]xT dbl1] = dz[1] 是怎么反向传播求导出来的？
最新发布
03-13
他给了一些关于梯度下降反向传播的公式片段，但看起来有些符号混乱，比如dz[2]= a[2]-y，还有像dwl2]、dbl2]这样的写法，可能打字错误或者符号不规范。用户想知道这些导数是怎么推导出来的。我需要回忆一下神经网络...
BP反向传播神经网络介绍及公式推导
07-08
神经网络中的反向传播（BackPropagation）介绍及公式推导 神经网络中的激活函数的作用，最常用的两个激活函数Sigmoid 和TanH 代价函数对介绍二次代价函数(Quadratic Cost)，交叉熵代价函数(Cross-entropy Cost)
深度学习笔记（八）神经网络反向传播的梯度下降算法
我的技术栈碎碎念空间
12-18 970
按照吴恩达老师的话讲，反向传播的数学推导过程实际上是他看过的最复杂的数学之一，涉及线性代数 矩阵 导数 链式法则等等，如果你微积分专家，你可以尝试从头进行数学推导，这是机器学习领域最难的推导之一。不管怎样，如果能实现这些方程，相信能让你有足够的直觉来调整神经网络并使其工作。 一、前向传播公式的回顾 Z[1]=W[1]X+b[1]A[1]=σ(Z[1])Z[2]=W[2]A[1]+b[2]A[2]=σ(Z[2])Z^{[1]}=W^{[1]}X+b^{[1]}\\A^{[1]}=\sigma(Z^{[1].
深度学习笔记（2）
Xvjianyang的博客
10-22 205
3.5向量化实现的解释 通过上一节的公式 可以知道每个训练样本所进行的计算都是类似的，当有不同的训练样本时，只需要将它们堆到矩阵 X的各列中，那么它们的输出也就会相应的堆叠到矩阵的各列中。因此就可以直接同时计算多个样本，实现向量化 这一节只是说明了为什么公式是前向传播的第一步计算的正确向量化实现，但事实证明，类似的分析可以发现，前向传播的其它步也可以使用非常相似的逻辑，即如果将输入按列向量横向堆叠进矩阵，那么通过公式计算之后，也能得到成列堆叠的输出。 3.7为什么需要非线性激..
第一门课-深度学习和神经网络 第二周（重点总结）
qq_35024702的博客
03-14 717
第一门课-深度学习和神经网络 第一周：深度学习引言(Introduction to Deep Learning) 1.1 欢迎(Welcome) 第一门课的目标：学习如何建立神经网络，以及如何在数据上面训练他们 1.2 什么是神经网络？(What is a Neural Network) 举例：房价预测 面积x作为输入，通过一个节点，价格y作为输出，这个节点就是一个单独的神经元 修正激活函数Re...
Logistic回归模型
csdn_muxin的博客
08-14 7809
Logistic回归的向量化  首先，可以通过向量化的方式来消除遍历所有参数时使用的循环  然后，集中精力使用向量化技术消除另一个循环，即用来遍历所有训练样本的循环  第一步，将线性变换过程改写为向量化  第二步，将激活过程改写为向量化  第三步，做偏导数的向量化  第四步，求出梯度中权值w的向量化表示  第五步，求出梯度中偏置b的向量化表示  第六步，对梯度dw和...
基于逻辑回归的单神经元公式伪代码及详细说明（已向量化）
文盲青年的博客
08-23 885
未向量化： Z = np.dot(w.t,X) + b A = a(Z) = 1/(1+np.exp(-Z)) J = np.sum(-(Y*np.log(A) + (1-Y)*np.log(1-A))/m dZ = A -Y dw = np.dot(X,dZ.t)/m db=np.sum(dZ)/m 第一行 大X是一个n*m的向量（n行m列，有m个样本，每个样本有n个特征x1、x2、 ... xn） 小w是一个n*1的列向量（对应每个特征的初始权重，w1、w2、... wn），w.t为w的转置，是一
deep learning（吴恩达）深度学习笔记
weixin_61797530的博客
08-20 1353
通过向量化可以显著加快代码的运行速度。下一步，我们将继续讨论向量化的更多示例，并开始向量化逻辑回归算法。通过向量化技术，你可以非常高效地同时计算出所有样本的激活值A，而无需逐一遍历样本。在下一视频中，我们将探讨如何利用向量化技术高效地进行反向传播计算，以获得梯度。虽然我们建议尽量避免显式的for循环，但在需要多次迭代的梯度下降中，仍然需要在迭代次数上使用一个外部的for循环。不过，能够在单次梯度下降中完全消除for循环，仍然是一个非常酷的技巧。
吴恩达《深度学习》笔记一——深度学习与神经网络
changfei_1995的博客
05-28 923
writed by changfei_love life~ 深度学习与神经网络 深度学习：训练神经网络的过程 目的：学会搭建神经网络，以及如何用数据训练 第一部分：逻辑回归&神经元 以猫的分类器为例：输入图片(x:特征向量)，输出是否为猫(yh:0~1) 二分类： 结果只有两种情况 逻辑回归： z=wT.x+b yh=sigmoid(z) 其中：w(特征权重)与x同纬度向量，b为偏差 代价...
Coursera吴恩达《神经网络与深度学习》课程笔记（2）-- 神经网络基础之逻辑回归
gaotihong的博客
07-25 676
个人总结， 1.首先介绍二分类，其输入的维度为(NX，1),输出的维度为（1,1） 如果多个样本输入，X的维度(nx, m), 输出的维度（1， m） 2.逻辑回归，由线性回归引入逻辑回归，其区别为值域不一样，即【0,1】，因此引入了sigmod函数。为了计算参数，需要引入代价函数，单个样本叫做loss function，多个样本叫做cost function。本来可以考虑使用平方误差，但是...
吴恩达深度学习与神经网络课程学习——logistic回归神经网络计算过程向量化
jmu_sxc的博客
11-29 500
logistic回归神经网络计算过程向量化 有了对之前对logistic回归神经网络计算过程，现在讨论向量化的运算，向量化运算对于大数据的运算 有着很重要的作用，向量化计算提供了并行运算，大大加快了运算速度。想要了解之前的logistic回归 神经网络计算过程可以访问以下我的另外一篇博客https://blog.youkuaiyun.com/jmu_sxc/article/details/8463810...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值