BP算法详解（笔记）

最新推荐文章于 2024-10-28 09:46:45 发布

原创

最新推荐文章于 2024-10-28 09:46:45 发布 · 1.5k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#神经网络 #机器学习

本文详细介绍了BP算法的核心部分，包括前向传播、反向传播过程，以及权重矩阵的更新推导。在前向传播中，讨论了如何结合偏置量进行计算；反向传播部分解释了误差的计算以及对权重的影响；接着通过基本公式和反向传播递推公式，详细阐述了权重更新的过程；最后，概述了BP算法的完整训练流程。

1、前向传播

$Z^{(l+1)} = X^{(l)}\Theta^{(l)}$
$a^{(l)}_{i}=g(z^{(l)}_{(i)})=\frac{1}{1+z^{-1}}$

最上面的一行 +1 为偏置量；第 $l$ 层的 $a$ 就是 $l+1$ 层的 $X$

example: 取中间两个隐藏层，即第二层和第三层

$\theta_{ji}^{(l)}$

第 $l$ 层的第 $i$ 个神经元对第 $l+1$ 层的第 $j$ 个神经元的权重（下标0时为偏置量对神经元的权重）

$z^{(3)}_{1}=1\cdot \theta_{10}^{(2)}+a_{1}^{(2)}\cdot \theta_{11}^{2}+a_{2}^{(2)}\cdot \theta_{12}^{(2)}$

$z^{(3)}_{2}=1\cdot \theta_{20}^{(2)}+a_{1}^{(2)}\cdot \theta_{21}^{2}+a_{2}^{(2)}\cdot \theta_{22}^{(2)}$

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

MinJinFan

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

BP神经网络算法基本原理,bp神经网络算法详解

shirley67269的博客

08-25

4448

大脑皮层包括有100亿个以上的神经元，每立方毫米约有数万个，它们互相联结形成神经网络，通过感觉器官和神经接受来自身体内外的各种信息，传递至中枢神经系统内，经过对信息的分析和综合，再通过运动神经发出控制信息，以此来实现机体与内外环境的联系，协调全身的各种机能活动。神经网络具有学习、联想和容错功能，是地下水水质评价工作方法的改进，如何在现行的神经网络中进一步吸取模糊和灰色理论的某些优点，建立更适合水质评价的神经网络模型，使该模型既具有方法的先进性又具有现实的可行性，将是我们今后研究和探讨的问题。

BP算法

weixin_54277047的博客

04-28

561

谈BP算法以下仅是我个人对BP算法的理解与看法，仅供学术参考 BP算法的来源与背景 1.1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。此模型也一直沿用至今。 2.到了80年代，美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，这也是神经网络最原始的框架，一直到了现在有了完整的神经网络体系。什么是BP算法误差逆传播算法（backpropagation BP算法）

1 条评论您还未登录，请先登录后发表或查看评论

BP神经网络计算过程详解

12-05

1、输入层的每个节点，都要与的隐藏层每个节点做点对点的计算，计算的方法是加权求和+激活 2、利用隐藏层计算出的每个值，再用相同的方法，和输出层进行计算。 3、隐藏层用都是用Sigmoid作激活函数，而输出层用的是Purelin。这是因为Purelin可以保持之前任意范围的数值缩放，便于和样本值作比较，而Sigmoid的数值范围只能在0~1之间。 4、起初输入层的数值通过网络计算分别传播到隐藏层，再以相同的方式传播到输出层，最终的输出值和样本值作比较，计算出误差，这个过程叫前向传播(Forward Propagation)。误差信号反向传递过程

深度学习算法实践8---BP算法详解

Yt7589的专栏

08-24

6367

BP算法是关于误差的反向传播算法，就是从输出层开始，将结果与预期结果相比较，求出误差，然后按照梯度最大下降方向，调整神经元的联接权值，然后依次逐层调整各层之间的连接权值，对于批量学习方式而言，不断重复上述过程，直到误差达到足够小时为止。对于输出层而言，我们可以直接使用在上一篇博文中关于感知器模型的算法，BP算法的难点在于，如何处理隐藏层，因为隐藏层没有正确的输出信息用来计算误差。下面我们将从输出层

从MLP到ANN：深度学习神经网络基础与BP算法详解

为此，文中提到了累计BP算法，即在一个完整训练周期（epoch）内累积所有样本的梯度后再统一更新参数，这相当于实现了批量梯度下降，有助于提升稳定性与收敛速度。此外，文章还深入讨论了BP算法在实际应用中面临的...

《Neural Network and Deep Learning》学习笔记1-深入理解神经网络与BP算法

09-01

#### 三、BP算法详解 **BP算法的目标**：BP算法的主要目的是计算网络中所有权重和偏置对损失函数C的偏导数。这些偏导数是梯度下降过程中更新权重和偏置所必需的信息。 **BP算法的假设**： - 损失函数可以写成各个...

BP神经网络算法推导与实现详解

BP算法通过梯度下降法，借助微积分中的链式法则，将最终输出误差逐层分解并反向传递，从而计算每个连接权重对应的梯度，进而使用学习率调整权重值，使网络逐步逼近目标函数。这一过程涉及多个关键组件：首先是网络...

永兴的tensorflow笔记-8 反向传播（BP）以及优化函数详解

深度探寻者

01-11

1840

一、什么是反向传播？反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向...

bp算法

qq_51279238的博客

01-26

9809

1.Bp算法：原名是backpropogation，分为正向传递数据，反向进行数据的更新，主要是去进行一些数据传递。一般分为3种层次，有输入层(input layer)，隐藏层(hidden layer)，输出层(output layer)。其中输入层，输出层一般只有1层，而隐藏层取决于具体实例的学习进程，可以设置多层次。附录： 1.1 layer1：输入层，有3个输入 1.2 layer2：隐藏层，进行数据的传递 1.3 layer3：输出层，进行数据的输出 w：为传递数据时的权重 b：为传递数据时

BP算法详解

闫小菜的学习之旅

03-03

375

BP算法详解—文章转载自添加链接描述

深度学习 --- BP算法详解（误差反向传播算法）

进击的菜鸟

11-11

6万+

本节开始深度学习的第一个算法BP算法，本打算第一个算法为单层感知器，但是感觉太简单了，不懂得找本书看看就会了，这里简要的介绍一下单层感知器：图中可以看到，单层感知器很简单，其实本质上他就是线性分类器，和机器学习中的多元线性回归的表达式差不多，因此它具有多元线性回归的优点和缺点。单层感知器只能对线性问题具有很好的解决能力，但是非线性问题就无法解决了，但是多层感知器却可以解决非线性问题，多层感...

深度学习-BP算法详解