反向传播原理

最新推荐文章于 2023-10-06 21:45:23 发布
原创 最新推荐文章于 2023-10-06 21:45:23 发布 · 1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文探讨了反向传播在优化权重参数中的作用。通过链式法则计算Etotal对权重ω5的偏导，以判断权重调整的方向：偏导数大于0时减少ω5，小于0时增加ω5。同时，对于ω1的更新，通过比较每次权重调整后Etotal的变化来判断是否达到收敛状态。

1. 要对ω5权值更新，先求Etotal对ω5的偏导

（链式法则）

各值代入，求出，此值表示ω5为当前值时，Etotal的变化率。

若此值>0，表示Etotal正在上升，需要调小ω5

此值<0表示Etotal正在下降，需要调大ω5




2. 要对ω1更新



每次调整完权重，求得新的Etotal，与上次比较，不再变化或变化较小则收敛。

最低0.47元/天 解锁文章
rona1
关注
神经网络BP反向传播算法原理和详细推导流程
qq_32865355的博客
05-09 10万+
1 反向传播算法和BP网络简介 误差反向传播算法简称反向传播算法（即BP算法）。使用反向传播算法的多层感知器又称为BP神经网络。BP算法是一个迭代算法，它的基本思想为：（1）先计算每一层的状态和激活值，直到最后一层（即信号是前向传播的）；（2）计算每一层的误差，误差的计算过程是从最后一层向前推进的（这就是反向传播算法名字的由来）；（3）更新参数（目标是误差变小）。迭代前面两个步骤，直到满足...
反向传播神经网络--基本原理（反向传播）
博文的专栏
05-05 2304
反向传播神经网络–基本原理（反向传播） 反向传播 代价函数/损失函数C (cost/loss) 代价函数是用来估算最后一层节点输出的值 与 目标的值的差距的函数。 如二次方损失函数，C=12n∑x∣∣y(x)−aL(x)∣∣2C = \frac{1}{2n}\sum_{x} || y(x) - a^{L}(x) ||^2C=2n1​∑x​∣∣y(x)−aL(x)∣∣2，通常为了方便计算和求导，会...
反向传播算法的工作原理(1)
CS实验室
09-25 2477
反向传播算法是神经网络中的重要算法，通过它能够快速计算梯度，进而通过梯度下降实现权重和偏置参数的更新 反向传播算法最初是在20世纪70年代被引入的，但直到1986年大卫·鲁梅尔哈特、杰弗里·辛顿和罗纳德·威廉姆斯合作的一篇著名论文问世后，人们才充分认识到它的重要性。这篇论文描述了几种神经网络，其中反向传播比以前的方法快得多，使人们有可能利用神经网络来解决以前无法解决的问题。如今，反向传播算法是神经网络中所要学习的主要内容。 本文的内容中涉及到更多的数学问题。如果你对数学不感兴趣，可以把反向传播当作一个黑匣子
【AI】反向传播的基本原理(06)
sjh752422969的专栏
05-30 2496
反向传播，也叫误差反传，用误差修正网络中的参数，修正的是权重参数、偏置参数。神经网络就是看你权重和偏置准不准，如果准，预测结果就好些。神经网络的中心任务，就是找到权重、偏置的值，那我们应该怎么找呢
深入浅出反向传播原理 Backpropagation
Ever Young
08-29 7348
深入浅出反向传播原理 Backpropagation 在深度学习中，我们的训练模型是一个多层次的神经网络，每个节点对应一个激活函数，上一个Layer的输出就是下一个Layer的输入。这样的模型，非常像复合函数层层的依赖关系：可以把第一层Layer想象成g(x)，则经过下一个Layer，函数就可以表示成f[g(x)]。依靠链式法则，我们可以简化对神经网络梯度下降优化参数时的计算，从而大大减少训练所...
深度学习入门课程---卷积神经网络反向传播原理视频教程.mp4
02-07
深度学习入门课程---卷积神经网络反向传播原理视频教程，希望能够学习者提供帮助，实现对卷积神经网络反向传播原理基础知识的掌握与理解，为后续学习做好铺垫，实现卷积神经网络反向传播原理的灵活运用
RNN的时间反向传播原理
qq_41775769的博客
12-05 2616
RNN的时间反向传播原理   本节将介绍循环神经网络中梯度的计算和存储方法，即通过时间反向传播（back-propagation through time）。正向传播在循环神经网络中比较直观，而通过时间反向传播其实是反向传播在循环神经网络中的具体应用。我们需要将循环神经网络按时间步展开，从而得到模型变量和参数之间的依赖关系，并依据链式求导法则应用反向传播计算并存储梯度。 1. 定义模型 简单起见，我们考虑一个无偏置项的循环神经网络，且激活函数简化为恒等映射 ϕ(x)=x\phi(x)=xϕ(x)=x。设时间
解读多层神经网络反向传播原理.docx
10-26
解读多层神经网络反向传播原理 多层神经网络反向传播原理是人工神经网络中最重要的概念之一。它是指在神经网络训练过程中，如何将误差信号从输出层传播回输入层，以便更新网络中的权重系数。这种方法被广泛应用于...
神经网络反向传播原理（作用，为什么要反向传播）
WanDerIngcc的博客
05-14 1万+
参考 这里给出关键的一句话： 反向传播就是为了实现最优化，省去了重复的求导步骤 背景 在机器学习中,很多算法最后都会转化为求一个目标损失函数（loss function）的最小值。这个损失函数往往很复杂，难以求出最值的解析表达式。而梯度下降法正是为了解决这类问题。直观地说一下这个方法的思想：我们把求解损失函数最小值的过程看做“站在山坡某处去寻找山坡的最低点”。我们并不知道最低点的确切位置，“梯度下降”的策略是每次向“下坡路”的方向走一小步，经过长时间的走“下坡路”最后的停留位置也大概率在最低点附近。这个“
一文读懂反向传播算法原理
热爱永不过时！
05-28 1万+
1.前言   写这个文章主要是因为学习了吴恩达老师的机器学习视频，在神经网络的反向传播算法（Back Propagation）的公式推导有些模糊，所以自己也查阅了很多资料，才基本搞明白其中的原理。所以希望通过写一下文章来进行梳理一下。   因为本文的公式推导是基于吴恩达老师的课程，课程里的神经网络部分主要讲述的是神经网络在分类的应用，因此激活函数采用的是sigmoid函数，下面的公式推导也基于这个进行推导。   最后，因为自己是刚开始学习机器学习，所以可能理解上存在一些小的偏差。如果文章中有错误，欢迎大家指
机器学习笔记丨神经网络的反向传播原理及过程（图文并茂+浅显易懂）
热门推荐
月月工作室的博客
06-19 9万+
本文旨在帮助在学习神经网络的时候，对数学有点抵触或是不理解神经网络的反向传播的小伙伴，可以比较轻松的理解神经网络。
反向传播算法的直观理解
xf__mao的博客
11-05 5万+
一、反向传播的由来 在我们开始DL的研究之前，需要把ANN—人工神经元网络以及bp算法做一个简单解释。 关于ANN的结构，我不再多说，网上有大量的学习资料，主要就是搞清一些名词： 输入层/输入神经元，输出层/输出神经元，隐层/隐层神经元，权值，偏置，激活函数 接下来我们需要知道ANN是怎么训练的，假设ANN网络已经搭建好了，在所有应用问题中（不管是网络结构，训练手段如何变化）我们的目标
李宏毅机器学习——反向传播算法总结
Fighting Hua
11-22 444
背景 梯度下降 链式法则 连锁影响(可以看出x会影响y，y会影响z) BP主要用到了chain rule 反向传播 （1）损失函数(Loss function)是定义在单个训练样本上的，也就是就算一个样本的误差，比如我们想要分类，就是预测的类别和实际类别的区别，是一个样本的，用L表示。 （2）代价函数(Cost function)是定义在整个训练集上面的，也就是所有样本的误差的总和的平均，也就是损失函数的总和的平均，有没有这个平均其实不会影响最后的参数的求解结果。 （3）总体损失函数(Total lo
反向传播算法原理(BP算法)(直观易懂)
m0_62307289的博客
01-26 1615
通俗易懂的介绍反向传播算法原理(BP算法)
CNN反向传播原理!(超级详细地推导)
__Gray__的博客
10-06 7326
数学推导CNN的BP, 究极详细
反向传播算法原理
06-30 279
假设目标函数是平房误差和函数，激活函数是sigmoid， 1、目标函数：平方误差和 2、使用随机梯度下降法进行优化时要计算每一个权值通过全导公式计算这个偏导，要想到这个w是通过影响j的加权输入来影响网络中的其他部分的，所以可以转变成： 就转变成求下面这个偏导了，这个偏导的相反数就是所说的误差项。 3、对于输出层，net直接影响的是预测输出值： 对于隐藏层，net直...
反向传播
一点码客
08-16 1426
目前网络上关于反向传播算法的教程已经很多，那我们还有必要再写一份教程吗？答案是‘需要’。 为什么这么说呢？我们教员Sanjeev最近要给本科生上一门人工智能的课，尽管网上有很多反向传播算法的教程，但他却找不到一份令他满意的教程，因此我们决定自己写一份关于反向传播算法的教程，介绍一下反向传播算法的历史背景、原理、以及一些最新研究成果。 PS：本文默认读者具备一定的基础知识（如了解梯度下降、...
神经网络反向传播算法原理笔记
c11556913的博客
05-27 1万+
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;神经网络是一种是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，...
卷积网络反向传播原理
最新发布
08-15
<think>我们正在讨论卷积神经网络（CNN）的反向传播原理。根据用户需求，我们需要详细解释CNN反向传播的推导过程，包括直观理解和数学公式。同时，根据系统指令，所有行内数学表达式使用$...$格式，独立公式使用$$...$$格式，并用中文回答。 参考引用的资料，特别是引用[2]中提到了DNN反向传播的四个核心公式（BP1-BP4），并指出CNN的反向传播需要针对卷积层和池化层进行特殊处理。我们也将参考引用[5]提供的课件链接（虽然无法直接访问，但可以推断其中包含CNN反向传播的详细推导）。 我们将按照以下步骤进行： 1. 回顾全连接神经网络（DNN）的反向传播。 2. 介绍CNN的基本结构（卷积层、池化层、全连接层）及其前向传播。 3. 分别推导卷积层和池化层的反向传播。 4. 结合直观解释和数学公式。 注意：由于用户要求生成相关问题，我们将在回答后提出几个相关问题。 下面开始正式回答。</think>### 卷积神经网络（CNN）反向传播算法原理与推导 卷积神经网络的反向传播是训练CNN的核心，其关键在于**链式法则的逐层应用**，但需针对卷积层和池化层的特性进行特殊推导。以下分步骤解析： --- #### 一、核心概念回顾 1. **反向传播本质** 通过损失函数$C$对权重$w$的偏导数$\frac{\partial C}{\partial w}$更新参数，使用链式法则： $$\frac{\partial C}{\partial w^{(l)}} = \frac{\partial C}{\partial z^{(l)}} \cdot \frac{\partial z^{(l)}}{\partial w^{(l)}} = \delta^{(l)} \cdot a^{(l-1)}$$ 其中$\delta^{(l)}$是第$l$层的误差项。 2. **CNN与DNN的差异** - **权值共享**：卷积核在输入上滑动，同一核参数被多次复用 - **局部连接**：输出神经元仅与局部输入区域相连 - **池化操作**：下采样会改变数据维度[^2] --- #### 二、卷积层的反向传播 设第$l$层为卷积层，其前向传播为： $$z^{(l)} = w^{(l)} \ast a^{(l-1)} + b^{(l)}$$ 其中$\ast$表示卷积运算。 1. **误差项$\delta^{(l)}$的计算** 根据链式法则，误差项由后一层误差反向传播： $$\delta^{(l)} = \frac{\partial C}{\partial z^{(l)}} = \delta^{(l+1)} \cdot \frac{\partial z^{(l+1)}}{\partial a^{(l)}} \cdot \sigma'(z^{(l)})$$ 由于下一层可能是卷积层或池化层，需分情况： - **后接卷积层**：误差反向卷积（Full Convolution） $$\delta^{(l)} = \delta^{(l+1)} \ast_{full} rot180(w^{(l+1)}) \odot \sigma'(z^{(l)})$$ 其中$rot180$表示核旋转180°，$\ast_{full}$是全卷积操作[^5] - **后接全连接层**：按DNN的BP2公式计算 2. **权重梯度计算** 考虑权值共享特性，梯度是所有位置贡献之和： $$\frac{\partial C}{\partial w_{pq}^{(l)}} = \sum_{i,j} \delta_{ij}^{(l)} \cdot a_{i+p,j+q}^{(l-1)}$$ 等价于$\delta^{(l)}$与$a^{(l-1)}$的互相关运算： $$\nabla w^{(l)} = \delta^{(l)} \star a^{(l-1)}$$ 其中$\star$表示互相关（cross-correlation）[^2] --- #### 三、池化层的反向传播 设池化层为$l$，前向传播为$a^{(l)} = pool(a^{(l-1)})$。 1. **最大池化（Max Pooling）** - 记录前向传播时每个池化窗口的最大值位置 - 误差$\delta^{(l)}$仅传递到原最大值位置： $$ \delta_{ij}^{(l-1)} = \begin{cases} \delta_k^{(l)} & \text{若 } a_{ij}^{(l-1)} \text{ 是池化窗口k的最大值} \\ 0 & \text{否则} \end{cases} $$ 2. **平均池化（Average Pooling）** 误差均匀分配到前一层对应窗口的所有神经元： $$\delta^{(l-1)} = upsample(\delta^{(l)}) \odot \sigma'(z^{(l-1)})$$ 其中$upsample$将误差按窗口大小复制扩展[^5] --- #### 四、完整算法流程 1. **前向传播**：计算各层输出$a^{(l)}$和$z^{(l)}$ 2. **初始化输出层误差**：$\delta^{(L)} = \nabla_a C \odot \sigma'(z^{(L)})$ 3. **反向迭代**： ```plaintext for l = L-1 downto 1: if l is convolutional layer: δ(l) = δ(l+1) * rot180(W(l+1)) ⊙ σ'(z(l)) # 卷积误差传递 ∇W(l) = δ(l) ⋆ a(l-1) # 权重梯度计算 if l is pooling layer: δ(l-1) = upsample(δ(l)) ⊙ σ'(z(l-1)) # 池化误差传递 ``` 4. **参数更新**：$w \leftarrow w - \eta \nabla w$ > **计算复杂度**：反向传播计算量约为2次前向传播（第一次前向计算输出，第二次计算误差）[^4] --- #### 五、直观理解 - **卷积核梯度**：可视作"用输入特征图作为卷积核，在误差图上做卷积" - **误差传递**：类似于将误差图"放大"回原尺寸的过程 - **权值共享**：梯度是所有位置共享参数的累加，体现参数复用特性 > 示例：输入为5×5，卷积核3×3，输出3×3。 > 反向传播时，3×3的误差矩阵需旋转180°后与5×5输入做全卷积（结果仍为3×3核梯度）[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值