反向传播算法（Back propagate）隐藏层误差计算

反向传播算法隐藏层误差计算
最新推荐文章于 2022-11-28 22:25:14 发布
原创 最新推荐文章于 2022-11-28 22:25:14 发布 · 5.3k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#反向传播 #隐藏层 #误差

反向传播算法（Back propagate）隐藏层误差计算

关于反向传播的推导已经很多了，理解起来也很简单就是 链式法则
大部分推导主要是输出层到隐藏层的计算,这时的误差Error就是简单的输出output和标签target的差可以简单记为：E = O - T
至于中间层的Error大多一语带过，
在这里插入图片描述
这里输出结果有两个，可以得到eo1 和 eo2
设hidden 层 误差为eh1和eh2 ,则：
在这里插入图片描述
在这里插入图片描述
用矩阵表示为：
在这里插入图片描述
我们在计算hidden 层误差时，重要的在于各节点误差所占最终误差eo1和eo2的比例，所以可以将误差记为：
在这里插入图片描述
这种理解有问题的话希望大家指教。

参

最低0.47元/天 解锁文章
如何理解反向传播算法？深度学习模型的训练过程以及它的实际应用
AI天才研究院
08-25 381
反向传播（backpropagation）是一种深度学习模型训练过程中使用的最主要的迭代优化算法之一。在训练神经网络时，每次更新参数都要计算每个参数对损失函数的导数，反向传播算法则利用链式法则将各个参数之间的相互依赖关系串联起来，计算出损失函数对各个参数的偏导，然后按照这个偏导方向更新参数，使得损失函数值减小或达到局部最小值。本文将介绍反向传播算法的基本原理、核心数学公式及其应用。通过对反向传播算法的理解，读者可以更好地理解深度学习模型的训练过程以及它的实际应用。
反向传播算法(Backpropagation)----Gradient Descent的推导过程
KI的博客
06-30 8万+
BP算法是适用于多层神经网络的一种算法，它是建立在梯度下降法的基础上的，本文着重推导怎样利用梯度下降法来minimise Loss Function。
手写 单隐藏层神经网络_反向传播(Matlab实现)
dc12499574的博客
04-02 1782
文章目录要点待优化效果代码miantrain_neural_net 要点 1、sigmoid函数做为激活函数，二分类交叉熵函数做损失函数 2、可以同时对整个训练集进行训练(已经向量化) 3、梯度的反向传播，第i层a(i)的梯度由第(i+1)每一个神经元对a(i)的梯度求和得到(或者求平均) 待优化 1、用于训练的函数中其中有两步可合并为一步(已标注) 2、仅适用训练集验证拟合效果，可以看得出来确实是在收敛，但未应用到真实的数据集去验证 3、计算中间值的代码不够灵活，优化后可适用于任意数量的隐藏层神经网络训练
深度学习入门（7）误差反向传播计算方式及简单计算层的实现
阿旭的博客
11-28 1246
深度学习入门（7）误差反向传播计算方式及简单计算层的实现
【数据挖掘】神经网络 后向传播算法( 向后传播误差 | 输出层误差公式 | 隐藏层误差公式 | 单元连接权值更新公式 | 单元偏置更新公式 | 反向传播 | 损失函数 | 误差平方和 | 交叉熵 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
04-27 6225
I . 向后传播误差 简介 II . 输出层误差计算公式 III . 隐藏层层误差计算公式 IV . 使用误差更新 连接权值 V . 使用误差更新 单元偏置 VI . 反向传播 过程 VII . 损失函数 简介 VIII . 损失函数 IX . 损失函数 举例 X . 损失函数 优化过程
人工智能知识全面讲解：多层神经网络与误差逆传播算法
Lee达森的博客
06-27 1042
7.3.1 从单层到多层神经网络明斯基教授曾表示，单层神经网络无法解决异或问题，但是当增加一个计 算层以后，两层神经网络不仅可以解决异或问题，而且具有非常好的非线性分 类效果。只是两层神经网络的计算量过于庞大，没有一个较好的解法。 直到1986年，戴维·鲁梅尔哈特（Rumelhar）教授与杰弗里·欣顿 （Geo??rey Hinton）教授等人提出了误差逆传播（Back Propagation，BP） 算法，彻?解决了两层神经网络计算量问题，从而带动了业界研究多层神经网 络的热潮。由于神经网络在解决复杂问题
反向传播算法学习
cyf1294311560的博客
07-30 1279
反向传播算法学习学习总结
TensorFlow（四）反向传播算法（BP）
viafcccy的博客
07-18 2342
通过前面几篇建立的神经网络以上一层的输出作为下一层的输入。这种⽹络被称为前馈神经网络。这意味着网络中是没有回路的 —— 信息总是向前传播，从不反向回馈。如果确实有回路，我们最终会有这样的情况：σ 函数的输⼊依赖于输出。这将难于理解，所以我们不允许这样的环路。（前馈 指的是拓扑学上的向前单向传播） BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。BP神...
深度学习：手写反向传播网络拟合sinx，可设置网络层数
dulingmo的博客
11-08 2276
  一、全局方法： rand(a,b)：该方法返回在区间（a，b）的任意随机数，且保证每次调用的时候返回的都是与之前不同的随机数 generate_w(m,n)：该方法返回生成的m*n的weight矩阵，且通过在该方法中调用rand(a,b)来初始化每个weight的值 generate_b(m)：该方法返回生成的m长度的bias值，且通过在该方法中调用rand(a,b)来初始化每个bia...
Make Your Own Neural Network（十一）-----多层神经网络层反向传输误差
大熊
05-03 1615
Make Your Own Neural Network构建你自己的神经网络https://blog.youkuaiyun.com/lz0499作者：lz0499 声明：1）Make Your Own Neural Network翻译自Tariq Rashid编写的神经网络入门书籍。作者的目的是尽可能的少用术语和高深的数学知识，以图文并茂的方式讲解神经网络是如何工作的。任何拥有高中数学水平的人就能够理解神经网...
Backpropagate:带有神经网络的AI
03-08
neural-network.js有一个小的神经网络类。 这是我进行反向传播的地方。 它只有一层隐藏层training data.txt是带有培训数据的文本文件index.html具有一个简单的GUI，用于使用训练数据来设置和训练神经网络
反向传播算法-back propagate
njucp的博客
06-14 698
反向传播算法
动手学深度学习——矩阵求导之自动求导
时生的博客
03-11 5322
深度学习框架通过自动计算导数，即自动微分（automatic differentiation）来加快求导。 实际中，根据我们设计的模型，系统会构建一个计算图（computational graph）， 来跟踪计算是哪些数据通过哪些操作组合起来产生输出。 自动微分使系统能够随后反向传播梯度。 这里，反向传播（backpropagate）意味着跟踪整个计算图，填充关于每个参数的偏导数。
从零到一实现神经网络（六）：误差反向传播算法更新网络权重
m0_54510474的博客
04-21 3481
误差反向传播算法原理，误差反向传播更新权重参数，三层神经网络实现
反向传播算法详细计算过程与结论公式
baozi__的博客
10-21 1万+
计算过程现在我们有这样一个神经网络： 输入层有两个神经元i1和i2，隐藏层有两个神经元h1和h2，偏差都为b1，输出层有两个神经元o1和o2，偏差都为b2，权重为w 神经元的输入经过激活函数转变为输出，即带权输入net经过激活函数转变为输出激活值out，如图所示： 现在一步一步进行计算前向传播输入层 -> 隐藏层 计算隐藏层神经元h1与h2的带权输入： neth1=ω1∗i1+ω2∗
反向传播算法（过程及公式推导）
热门推荐
Arthur-Chen的专栏
04-01 20万+
反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。
机器学习之BP算法
AchangeC的博客
05-25 3619
一、BP算法理解① BP算法全称 (Error) Back Propagation 算法，中文名曰：误差反向传播算法。②该算法是干嘛的？       计算梯度。更简单点，求(偏)导。对于简单的函数如下：        ...
人工神经网络有哪些主要的结构特征
aifans_bert的博客
07-09 1474
人工神经网络的特点有哪些 人工神经网络的特点和优越性，主要表现在三个方面：第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个
BP算法浅谈（Error Back-propagation）
akunainiannian的专栏
10-13 5735
最近在打基础，大致都和向量有关，从比较基础的人工智能常用算法开始，以下是对BP算法研究的一个小节。       本文只是自我思路的整理，其中举了个例子，已经对一些难懂的地方做了解释，有兴趣恰好学到人工智能对这块不能深入理解的，可以参考本文。       因为大部分涉及公式，我就直接贴图了，请谅解，如果需要全文可以联系@梁斌penny 谢谢。
反向传播算法公式图解
最新发布
02-27
### 关于反向传播算法公式的图解说明 #### 一、BP算法概述 反向传播算法(Backpropagation, BP算法)，作为“误差反向传播”的简称，是一种适用于多层神经元网络的学习方法，其理论根基在于梯度下降法的应用[^1]。 #### 二、BP算法中的关键概念与符号定义 为了更好地理解BP算法的工作原理及其公式表达，在此先介绍一些必要的术语和记号。假设有一个简单的三层前馈神经网络（输入层、隐藏层以及输出层），其中涉及的主要变量有： - 输入信号 \(x_i\) 和目标输出 \(t_j\) - 权重矩阵 \(\mathbf{W}\) 连接各层节点之间的权重值 - 偏置项 \(b_k\) 加入到每一层计算之中用于调整激活水平 - 激活函数 \(f(z)\), 如Sigmoid函数等非线性变换操作应用于加权求和后的净输入\(z=\sum w_{ij}x_i+b_j\) 这些基本要素构成了后续讨论的基础框架[^3]。 #### 三、损失函数的选择 对于给定的数据集而言，通常会采用均方差(Mean Squared Error,MSE)来衡量预测结果与实际标签间的差异程度: \[E(w)=\frac{1}{2n}\sum^n_{i=1}(y^{(i)}-\hat y^{(i)})^2\] 这里引入因子\(\frac{1}{2}\)是为了简化之后求导过程中产生的系数项；而分母处除以样本总数\(n\)则是为了让整体能量更具有统计意义[^4]。 #### 四、链式法则下的梯度计算流程 当明确了上述各项设定后，则可以利用微积分里的链式法则(chain rule)来进行逐层传递并更新参数的过程描述如下所示： 设第l层的局部敏感度为δ_l，则有： \[ δ_L=(y-t)f'(net_L)\] \[ δ_h=f'(net_h)(w_{hL})^Tδ_L\] 这里的下标分别代表不同层次的位置关系，即从最后一层向前回溯直至首层完成整个反馈路径上的信息流动[^2]。 ```python def back_propagate(W, b, X, Y, lr): # 正向传播阶段省略... delta_output = (output_layer - target_values) * sigmoid_derivative(output_net) deltas_hidden = np.dot(delta_output.T, W[-1].T).T * sigmoid_derivative(hidden_nets) # 更新权重和偏置... ``` 通过这种方式实现了基于当前估计错误对内部连接强度作出相应修正的目的，从而使得模型能够逐渐逼近最优解空间内的位置分布情况。
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值