笔记 - 神经网络：正向传播与反向传播理论

最新推荐文章于 2025-08-12 11:12:45 发布
原创 最新推荐文章于 2025-08-12 11:12:45 发布 · 447 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

博客围绕深度学习展开，提出更新参数时为何需反向传播，认为可直接计算梯度并用公式更新。后续计划结合表达式树，直观呈现反向传播中链式法则的运用。

前言

更新参数为啥需要反向传播，直接计算梯度，然后用公式更新不就行了

在这里插入图片描述
在这里插入图片描述

正文

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
-------------------------------------------待更新-----------------------------------------

  • 【TODO】结合表达式树，直观体会反向传播中链式法则的运用
第七天：机器学习：神经网络-正向传播算法
weixin_54856108的博客
08-03 1096
输入层：接受原始数据输入，通常不进行计算，只是简单地传递数据。隐藏层：包含多个神经元，对输入数据进行复杂的特征提取和处理。隐藏层可以有多层，这使得神经网络具备强大的学习能力。输出层：将最后一层隐藏层的输出进行处理，生成最终的预测结果。正向传播是神经网络中的基本过程，通过将输入数据逐层传递和计算，最终得到输出结果。激活函数在正向传播中起到了关键作用，使神经网络能够学习和表达复杂的非线性关系。通过理解和实现正向传播算法，初学者可以深入理解神经网络的工作原理，为进一步学习和应用打下坚实基础。
神经网络中的正向传播与反向传播
顺其自然~专栏
03-19 1675
神经网络中的正向传播和反向传播是训练模型时使用的两种关键机制。数据从输入层开始，经过隐藏层（如果有的话），最终到达输出层的过程。在这个过程中，信息沿着网络的连接逐层传递，每一层的神经元都会根据其接收到的信号和当前的权重系数进行计算，产生一个输出信号传递给下一层。直到输出层生成最终的预测结果。当网络产生输出后，会与期望的输出或标签进行比较，计算出误差。反向传播的目的是通过这个误差来调整网络中的权重系数和偏置项，以最小化损失函数。
CNN反向传播和普通神经网络的联系和比较
张洁的笔记
12-26 1018
BP神经网络反向传播 反向传播是BP神经网络的特点，在之前的博客中已经粗略介绍了BP神经元以及反向传播的特点，对反向传播用较为直观图示解释。 本博客将重点介绍其反向传播的传播过程。 首先明确概念，反向传播就是得到整个网络的输出对每个门单元的梯度的过程。 举例说明，f(x1,x2,x3,x4)=(max(x1,x2)+x3)∗x4f(x1,x2,x3,x4)=(max(x1,x2)+x3)∗...
神经网络的正向传递与反向传播
Hundreays
04-19 4494
神经网络之正向传递与反向传播1.单个神经元2.由神经元组成的神经网络3.目标函数4.反向传播算法 1.单个神经元 神经网络是由一系列神经元组成的模型，每一个神经元实际上做得事情就是实现非线性变换。 如下图就是一个神经元的结构： 神经元将两个部分：上一层的输出 (x1,x2...,xn)(x_1,x_2...,x_n)(x1​,x2​...,xn​)与权重(w1,w2...,wn)(w_1,w_2...
神经网络的正向传播和反向传播（转）
weixin_42732240的博客
04-07 3407
反向传播：重点掌握链式法则（偏导的求法） 感谢博主，以下计算参考链接：https://www.cnblogs.com/charlotte77/p/5629865.html **************************************************************************** 输入→卷积（激活函数）……→输出 以上图为例，并赋值，分别计算...
神经网络基础--什么是正向传播？？什么是方向传播？？
羊小猪~~的博客
11-07 1183
神经网络基础--什么是正向传播？？什么是方向传播？？
PyTorch学习笔记（六）：正向传播、反向传播、数值稳定性和模型参数
FriendshipTang的博客
02-03 227
Python、PyTorch、正向传播、反向传播、数值稳定性、模型参数
动手学深度学习笔记---4.4 前向传播、反向传播与计算图
selectnothing的博客
03-16 1159
归根到底，正向传播与反向传播是一个学习参数，计算误差，然后求导对参数更新的过程。可以理解为一次作业的完成过程：写作业（前向传播）-> 老师审阅（计算误差）-> 打回修改（反向传播） -> 完成作业（训练完成）
CS231n笔记三：神经网络之反向传播
weixin_55953478的博客
06-18 543
在这个计算图中，节点表示一种计算操作。 下图就是损失函数L的计算图。即输入x和W，首先将x和W进行矩阵乘，得到分数s；随后计算hinge loss和正则化R(W)，之后将二者相加得到最终的L。 应用这种计算图的框架，我们可以求出任意复杂函数的解析梯度。定义 反向传播是链式法则的递归调用。具体的计算过程如下： 1、从最后开始往前算，即首先计算df/df，显然为1； 2、之后计算df/dz，因为df/dz = q，而q=x+y=3，故df/dz = 3； 3、同理，可以计算得df/dq = -4； 4、之后
反向传播算法推导—全连接神经网络
07-07
反向传播算法是人工神经网络训练时采用的一种通用方法，在现代深度学习中得到了大 规模的应用。全连接神经网络(多层感知器模型，MLP)，卷积神经网络(CNN)，循环神 经网络(RNN)中都有它的实现版本。算法从多元复合函数求导的链式法则导出，递推的 计算神经网络每一层参数的梯度值。算法名称中的“误差”是指损失函数对神经网络每一层 临时输出值的梯度。反向传播算法从神经网络的输出层开始，利用递推公式根据后一层的误 差计算本层的误差，通过误差计算本层参数的梯度值，然后将差项传播到前一层
机器学习精要：神经网络与反向传播总结
笔记中特别强调了神经网络的构建和训练过程，包括网络结构的选择、参数初始化、正向传播、代价函数计算、反向传播和优化算法的应用。此外，还提到了课程的实用性，以及如何在不同领域如智能机器人、文本理解、计算机...
神经网络正向与反向传播
qq_52302919的博客
03-11 4766
一、神经网络的前向传播原理 在全连接神经网络中，每一层的每个神经元都会与前一层的所有神经元或者输入数据相连，例如图中的 f1(e)f _1 ( e )f1​(e)就与x1x_1x1​ 和 x2x_2x2​ 分别相连。因此，在计算的时候，每一个神经元的输出=使用激活函数激活前一层函数的累加和。 下面将通过一个具体例子来理解反向传播的具体流程。下图是一个神经网络的结构图，其中： 输入数据：i1=0.05，i2=0.10 ;权重系数：w1=0.15，w2=0.20，w3=0.25，w4=0.30，w5=0.40
神经网络与深度学习笔记（二）正向传播与反向传播
沧夜的成长日记
06-15 2228
正向传播 正向传播计算的是神经网络的输出 如上图，就是一次类似的正向传播的过程，正向传播计算最后的输出值。 将J(a,b,c)=3(a+b∗c)J(a,b,c) = 3(a + b * c)J(a,b,c)=3(a+b∗c)这一个式子用uuu, vvv 来代替： u=b∗cu = b * cu=b∗c v=a+uv = a + uv=a+u $ j = 3 * v$ 最后求出jjj的值 反向传播 反向传播计算神经网络的梯度以及微分 如上图是一个类似的反向传播的过程。 对图中右侧的输出 j=3∗vj =
神经网络正向传播和反向传播
qq_29423387的博客
04-14 3493
正向传播（forward-propagation）：指对神经网络沿着输入层到输出层的顺序，依次计算并存储模型的中间变量。 反向传播（back-propagation）：沿着从输出层到输入层的顺序，依据链式法则，依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。 反向传播是一种计算神经网络参数梯度的方法 在训练深度学习模型的时候，正向传播和反向传播相互依赖 其一：正向传播的计算依赖于模型参数的当前值，这些模型参数是在反向传播梯度计算后通过优化算法迭代的 其二：反向传播的梯度计算可能依赖于各变量的
神经网络——正向传播与反向传播
weixin_43348682的博客
12-03 414
import numpy as np # N 为一次训练所选取的样本数; D_in 为输入层的维度; # H 为隐藏层的维度; D_out 为输出层的维度. N, D_in, H, D_out = 64, 1000, 100, 10 # 创建随机的输入层和输出层的数据 x = np.random.randn(N, D_in)#创建N行，D_in列的具有正态分布的数组 y = np.random...
深度神经网络(DNN)正向传播与反向传播推导（通俗易懂）
JJJasmine的H君的博客
08-18 3494
一、前言 我在之前的博客里面介绍过浅层的神经网络，现在就从浅层神经网络出发，介绍深度神经网络（DNN）的正向传播和反向传播。希望网友们看本博客之前需要对神经网络有个简单的了解，或者可以看博客初探神经网络（深度学习入门）进行了解学习。 本文将结合吴恩达的视频、作业及其个人的理解进行写作，如有不对的地方，还望指正。 二、DNN的模型 神经网络有一个输入层、多个隐含层和一个输出层组成。每个隐含层都执行了线性操作和激活函数操作。 三、DNN的前向传播 ...
神经网络中的正向和反向传播问题
qq_33289694的博客
07-31 2059
正向传播 正向传播是指对神经网络沿着从输入层到输出层的顺序，依次计算并存储模型的中间变量（包括输出）。如图所示。假设我们只输入一个x∈Rd\boldsymbol{x} \in \mathbb{R}^{d}x∈Rd的样本，且先不考虑偏差项，这里的d=4 那么中间变量 z=W(1)x \boldsymbol{z}=\boldsymbol{W}^{(1)} x z=W(1)x 其中W(1)∈Rh×d\...
正向传播与反向传播（神经网络思维的逻辑回归）
最新发布
qq_71681039的博客
08-12 940
正向传播与反向传播（神经网络思维的逻辑回归）
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值