RNN的bp

最新推荐文章于 2024-06-24 06:16:19 发布
最新推荐文章于 2024-06-24 06:16:19 发布
阅读量392 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42705218/article/details/81060947
本文介绍了RNN的反向传播（bp）过程，重点阐述了RNN如何通过权重将信息传递给下一层及自身输入，并对比了LSTM和GRU在记忆控制上的差异，如LSTM的f,i,o门和GRU的更新门、重置门。" 131028189,18870397,Python反向排序与延迟绑定：高阶函数揭秘,"['Python编程', '算法', '数据处理', '函数', '编程技巧']

RNN的bp

来源：https://zybuluo.com/hanbingtao/note/581764

RNN的权重向下层输出的同时，会将权重返回到本层的输入处，和下一次的输入加和
RNN结构

RNN只用了一个权重保存节点的状态，LSTM用了两个权重来保存，新加的状态称为单元状态（cell stat）
C和H两个状态

对长程记忆和短程记忆的控制，可以参考LSTM单元来了解：
LSTM结构

LSTM用三个门来控制数据的流动：f,i,o，其中forget门控制 Ct−1到Ct的 C t − 1 到 C t 的 量，input门控制 ht−1和xt到Ct的量 h t − 1 和 x t 到 C t 的 量 ，output门控制 Ct到ht的量 C t 到 h t 的 量

GRU有两个门，一个状态：
输入门、遗忘门、输出门变为两个门：更新门（Update Gate）和重置门（Reset Gate）
GRU

qq_42705218
关注
RNN训练与BP算法
SCUT_Sam
01-16 6944
摘要： 本文主要讲述的RNN（循环神经网络）在训练过程中BP算法的推导。 在阅读本文之前希望读者看过我的另一篇文章BP算法心得体会。因为大部分的思路沿用的就是这篇文章的思路。 参考文章： 数学推导-1 数学推导-2 更新-2018-01-23： 之前写完这篇文章之后，回头看了一遍文章，发现在整个推导的过程都无视了时间维度的存在，所以后来查阅了相关的资料，发现目前网上有一部分R
BP算法和RNN_深度学习 CNN 和 RNN 等模型简介
weixin_39540744的博客
11-20 1007
导读： 深度学习自从2006年以后已经 "火" 了十多年了，目前大家看到的，最普遍的应用成果是在计算机视觉、语音识别和自然语言处理 ( NLP )。 最近工业界也在努力地扩展它的应用场景，比如游戏、内容推荐和广告匹配等等。深度模型架构分三种：❶ 前向反馈网络： MLP，CNN❷ 后向反馈网络： stacked sparse coding, deconvolutional nets❸ 双向反馈网络：...
BP CNN RNN LSTM 技术分享
03-16
分享 BP CNN RNN LSTM 算法核心点： 反向传播算法的核心就是 梯度下降 + 链式法则求偏导 所谓神经网络的训练或者是学习，其主要目的在于通过学习算法得到神经网络解决指定问题所需的参数， 这里的参数包括各层神经元之间的连接权重以及偏置等
BP算法和RNN_双向RNN的理解
weixin_39825854的博客
10-22 560
我们在学习某种神经网络模型时，一定要把如下几点理解透了，才算真正理解了这种神经网络。网络的架构：包含那些层，每层的输入和输出，有那些模型参数是待优化的前向传播算法损失函数的定义后向传播算法什么情况下认为是发现了过拟合，怎么进行优化。很多介绍深度学习的书籍，在介绍全连接神经网络时，对这几个方面都会介绍的比较清楚，但是在介绍CNN，RNN，LSTM等，都会只偏重介绍网络的架构，其他的方面介绍的少，没有...
简单的RNN和BP多层网络之间的区别
ayz54599的博客
11-10 2324
先来个简单的多层网络 RNN的原理和出现的原因，解决什么场景的什么问题 关于RNN出现的原因，RNN详细的原理，已经有很多博文讲解的非常棒了。 如下： http://ai.51cto.com/art/201711/559441.htm 更多的例子可以百度了解 为什么我写这篇博客 主要是我从自己学习理解RNN的时候，开始有一些困难，书上讲的也是模模糊糊的，原理讲解的很多，但是代码的关...
RNN介绍及梯度详细推导
ait2018
01-31 6230
RNN梯度详细推导1. RNN的几种常见结构结构一结构二欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流...
BP神经网络和RNN神经网络的学习和实现。
Aaron23456的博客
08-07 9818
一直在研究神经网络和深度学习。所以写下一些心得。无奈总是不记得反向更新的公式，所以记下来。神经网络和深度学习并不是想象中的那么不平易近人。只要掌握两点那么自己都可以写出来了。只要注意一个前向是怎么传播的，反向是怎么更新的，万变不离其中，这两个永远是神经网络最核心最重要的话题。预测和分类的东西是往前传播，误差是往后传播，然后给定一个迭代的极限设定一个最大停止值就可以实现了。关于公式讲得最好的最清晰的是
神经网络内部构造是什么,神经网络内部构造包括
神器榜
10-05 568
(扯一个不相关的：由于计算技术的落后，当时感知器传输函数是用线拉动变阻器改变电阻的方法机械实现的，脑补一下科学家们扯着密密麻麻的导线的样子…Baltzmann机是具有随机输出值单元的随机神经网络，串行的Baltzmann机可以看作是对二次组合优化问题的模拟退火算法的具体实现，同时它还可以模拟外界的概率分布，实现概率意义上的联想记忆。3、RNN：神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）时刻的输出！
深度学习基础：MLP、BP、CNN、RNN
路遥知马力，日久见人心
10-16 4368
本篇博客参考《Deep Learning》的第二部分对深度学习的基础知识进行总结，主要包括：前馈神经网络、反向传播算法、卷积神经网络和循环神经网络，以便加深理解和记忆
BP算法和RNN_AI算法领域常用的39个术语（下）
weixin_39835991的博客
11-22 255
算法是人工智能(AI)核心领域之一。本文整理了算法领域常用的39个术语，希望可以帮助大家更好地理解这门学科。本文为下半部分，上半部分见本账号的上一篇文章。19. 迁移学习(Transfer Learning)迁移学习是一种机器学习的方法，指的是一个预训练的模型被重新用在另一个任务中。20.长短期记忆网络(LSTM)LSTM是一种特殊的循环神经网络，能够学习长期依赖性。21.生成对抗网络(GAN)生...
【趣谈】BP神经网络是如何演变出RNN神经网络的
dbat
06-24 1549
有些朋友学习了BP神经网络，却认为RNN很遥远，或者有些朋友学了RNN，却不知它的意义，这两者差不多就是同一个东西，因此不妨来聊聊BP是如何演变出RNN的，以此加深对两者的了解。
深度学习：MLP，BP，CNN，GAN
燕双嘤
12-15 1万+
卷积：用一个固定大小的矩形区去席卷原始数据，将原始数据分成一个个和卷积核大小相同的小块，然后将这些小块和卷积核相乘输出一个卷积值。这种局部计算的方式使得卷积能够捕捉到输入图像的局部特征，例如边缘、纹理和形状等。
BP算法和RNN_深度学习模型DBN、SAE、CNN、RNN介绍
weixin_39992462的博客
11-22 1364
深度学习源于神经网络的研究，可理解为深层的神经网络。通过它可以获得深层次的特征表示，免除人工选取特征的繁复冗杂和高维数据的维度灾难问题。目前较为公认的深度学习的基本模型包括：基于受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)的深度信念网络(Deep Belief Network，DBN)；基于自动编码器(AutoEncoder, AE)的堆叠自动编码器(Stac...
RNN/LSTM/GRU
cengjing12的博客
11-12 508
1 RNN概述 我们已经知道BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题. BP算法,CNN之后, 为什么还有RNN? 细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果. 但是, 对于一些与时间先后有关）的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如
深度学习BP算法的推导（附加RNN,LSTM的推导说明）
热门推荐
长虹剑的专栏
12-09 5万+
注：1）这篇文章主要参考Alex Graves的博士论文《Supervised Sequence Labellingwith Recurrent Neural Networks》 详细介绍其关于BP算法的推导过程。 2）论文没有提到过偏差的处理，不过如果能耐心推导出论文给出的公式，那么这将十分简单。 3）由于是结合语音训练的，最后是softmax出来是获得有...
DNN中的BP和RNN中的BPTT推导
Amy_mm的博客
07-12 2899
1.5、BP和BPTT 参考博客：http://www.cnblogs.com/pinard/p/6509630.html 1、反向传播算法（Backpropagation） 反向传播算法要解决的问题 深层神经网络（Deep Neural Network，DNN)由输入层、多个隐藏层和输出层组成，任务分为分类和回归两大类别。如果我们使用深层神经网络做了一个预测任务，预测输出为ỹ&nb...
lecture7-序列模型及递归神经网络RNN
weixin_33697898的博客
11-15 834
Hinton 第七课 。这里先说下RNN有recurrent neural network 和 recursive neural network两种，是不一样的，前者指的是一种人工神经网络，后者指的是一种深度神经网络这里指的是前者，这部分翻译的不好，因为之前没怎么接触过RNN，不过就当理解意境吧，所以附上所有的ｐｐｔ，看得懂的就看PPt,下面的是附带说明，有些语句没有那么通顺，所以就当意境...
深度学习笔记（转载）
mysee1989的专栏
09-24 4091
目录： 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1、特征表示的粒度 4.2、初级（浅层）特征表示 4.3、结构性特征表示 4.4、需要有多少个特征？ 五、Deep Learning的基本思想 六、浅层学习（Shallow Learning）和深度学习（Deep Learning） 七、Deep learn
bp和RNN
最新发布
03-31
### 反向传播与循环神经网络的关系 反向传播（Backpropagation，简称BP）是训练神经网络的核心算法之一。对于传统的前馈神经网络（Feedforward Neural Networks），BP通过计算损失函数相对于权重的梯度来调整模型参数。然而，在循环神经网络（Recurrent Neural Networks, RNN）中，由于其特有的时间序列特性，标准的BP被扩展为一种称为 **BPTT (Backpropagation Through Time)** 的方法[^3]。 #### BPTT的工作机制 在RNN中，输入数据通常是一个序列 \( x_1, x_2, \ldots, x_T \)，其中 \( T \) 表示序列长度。每个时间步 \( t \) 都会接收一个输入 \( x_t \)，并将其传递到隐藏层状态 \( h_t \) 中。隐藏层的状态不仅取决于当前输入 \( x_t \)，还受到上一时刻隐藏状态 \( h_{t-1} \) 的影响。因此，RNN可以表示为： \[ h_t = f(W_h h_{t-1} + W_x x_t + b) \] 其中： - \( W_h \) 是隐藏层之间的权值矩阵， - \( W_x \) 是输入到隐藏层的权值矩阵， - \( b \) 是偏置项， - \( f(\cdot) \) 是激活函数（如 tanh 或 ReLU）。 为了优化这些参数，BPTT 将整个序列展开成多个时间步，并将每一步视为独立的前馈神经网络的一部分。这样做的目的是使得误差可以通过时间维度向前传播，从而更新每一层的参数。具体来说，目标是最小化以下形式的损失函数： \[ L = \sum_{t=1}^{T} L(y_t, \hat{y}_t) \] 其中 \( y_t \) 和 \( \hat{y}_t \) 分别代表真实标签和预测值。 #### 实现细节 在实际操作过程中，BPTT 计算方式如下： 1. 前向传播阶段：按照上述公式依次计算各时间步上的隐藏状态以及最终输出； 2. 后向传播阶段：从最后一个时间步开始逐级回溯，利用链式法则求导数以获得关于各个参数的部分导数值； 值得注意的是，当序列过长时可能会遇到梯度消失或者爆炸的问题。针对这些问题，研究者提出了多种改进方案，比如长短时记忆单元(LSTM)[^5] 和门控循环单元(GRU) 等变体结构。 ```python import numpy as np class SimpleRNNCell: def __init__(self, input_size, hidden_size): self.Wx = np.random.randn(hidden_size, input_size) * 0.01 self.Wh = np.random.randn(hidden_size, hidden_size) * 0.01 self.b = np.zeros((hidden_size, 1)) def forward(self, xt, ht_prev): ht_current = np.tanh(np.dot(self.Wx, xt) + np.dot(self.Wh, ht_prev) + self.b) return ht_current def backpropagate(dht, cache): # dht: gradient w.r.t current hidden state # cache contains intermediate values from forward pass dh_next, dwx, dwh, db = None, None, None, None # Unpack cached variables needed for computing gradients. wx, wh, bx, prev_ht, it = cache['wx'], cache['wh'], cache['bx'], cache['prev_ht'], cache['it'] dtanh = (1 - it**2) * dht # Derivative of TanH activation function applied elementwise. dwx = np.dot(dtanh, prev_ht.T) dwh = np.dot(dtanh, it.T) db = np.sum(dtanh, axis=-1, keepdims=True) dh_next = np.dot(wh.T, dtanh) return dh_next, dwx, dwh, db ``` 以上代码片段展示了一个简单的单层RNN细胞及其对应的后向传播逻辑。 ### 总结 综上所述，反向传播技术经过适当修改后适用于处理具有动态特性的循环神经网络。它通过对不同时间节点间相互作用关系建模实现了复杂模式识别能力提升的同时也带来了诸如梯度不稳定之类的挑战。而现代深度学习框架如TensorFlow[Keras], PyTorch 提供了便捷接口帮助开发者高效完成此类任务配置与执行工作流程管理等方面的支持服务功能模块集成解决方案等等[^4].
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值