基于时间的反向传播算法和梯度消失 -part3

最新推荐文章于 2024-03-13 15:19:37 发布
最新推荐文章于 2024-03-13 15:19:37 发布
阅读量4k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： ML 文章标签： nlp BPTT RNN LSTM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Thinking_boy1992/article/details/53138912
本文深入解析RNN中Backpropagation Through Time（BPTT）算法，探讨梯度消失问题及其对长期依赖学习的影响。通过分析，展示了梯度消失的原因，以及为何在长序列中标准RNN训练困难。同时，介绍了LSTM和GRU作为解决此问题的有效模型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文翻译自
前文从零开始实现了RNN，但是没有详细介绍Backpropagation Through Time (BPTT) 算法如何实现梯度计算。这篇文章将详细介绍BPTT。之后会分析梯度消失问题，它导致了LSTM和GRU的发展，这是两个在NLP领域最为流行和有效的模型。
梯度消失问题在1991年被发现，但在近来受到关注，因为深度框架的广泛应用；
为了充分理解这个教程，我建议要熟悉部分分化和基本反向传播算法的工作机制相关教程part1part2part3

BACKPROPAGATION THROUGH TIME (BPTT)
快速重述RNN中的基本公式
这里写图片描述
yt是在step t正确的单词输出，yt^指预测值。
我们还是传统的认为一个完整的序列（句子）是一个训练样本，所以总的误差为每一步的误差之和；
这里写图片描述
我们的目标是计算有关U，V，W的损失函数的梯度，使用随机梯度下降算法学习得到更好的参数值。就像我们误差相加，我们也把每一个样本的每一步中的梯度值相加
这里写图片描述
为了计算梯度，我们使用了分化链规则。
这里写图片描述
上述，

最低0.47元/天 解锁文章

200万优质内容无限畅学
对反向传播中梯度消失的全面理解
Kevin.wang
05-05 2354
文章目录一.神经网络如何传播？1.1 正向传播1.2 反向传播二.梯度消失如何产生？2.1 数学角度2.2 激活函数角度三.结论 一.神经网络如何传播？ 1.1 正向传播 如下图所示，两个输入值X1X_1X1​和X2X_2X2​，以第一层的第一个神经元f1(e)f_1(e)f1​(e)为例。 正向传播先经过线性变换e=x1w1+x2w2e=x_1w_1+x_2w_2e=x1​w1​+x2​w2​,...
【机器学习】反向传播与梯度消失/爆炸
最新发布
fzy2003的博客
09-12 590
反向传播是优化神经网络的核心思想，通过计算损失函数的梯度更新权值。本文介绍了反向传播及其与梯度下降算法的关系，并举例说明了线性回归模型中的梯度下降过程。接着探讨了深度神经网络中的梯度消失和梯度爆炸问题。梯度消失通常发生在深层网络中，尤其是带有 sigmoid 等激活函数的网络，导致前几层参数无法有效更新；梯度爆炸则是梯度在传播中迅速增大，影响训练稳定性。本文分析了这些问题的根源，并强调其在反向传播算法中的固有不足。
随时间的反向传播算法 BPTT
weixin_30505043的博客
06-25 875
本文转自：https://www.cntofu.com/book/85/dl/rnn/bptt.md 随时间反向传播（BPTT）算法 先简单回顾一下RNN的基本公式： st=tanh(Uxt+Wst−1)st=tanh⁡(Uxt+Wst−1) y^t=softmax(Vst)y^t=softmax(Vst) RNN的损失函数定义为交叉熵损失： ...
RNN的反向传播及RNN的梯度消失与梯度爆炸
lzw刘仔很忙的博客
01-25 3774
这篇文章讲一下RNN的反向传播算法BPTT，及RNN梯度消失和梯度爆炸的原因。 BPTT RNN的反向传播，也称为基于时间的反向传播算法BPTT(back propagation through time)。对所有参数求损失函数的偏导，并不断调整这些参数使得损失函数变得尽可能小。 先贴出RNN的结构图以供观赏，下面讲的都是图中的单层单向RNN： ...
手动分解反向传播，理解梯度消失和梯度爆炸
ALLSTARZTQ的博客
05-27 373
Let’s see a very simple handwriting formula derivation #Define Firstly, let define some variables and operations Gradient of the variable in layer L(last layer) dWL = dLoss * aL Gradient of the vari...
手写感知器的反向传播算法 Part1：梯度传播的理论推导：如何计算梯度？
vindicater的博客
01-03 1091
本文主要是从数学的角度推导反向传播的操作原理，通过具体的例子计算，给出了感知机的每层的具体梯度值，帮助读者理解感知机的最核心的关键步骤。
基于时间的反向传播算法BPTT（Backpropagation through time）
snaillup的博客
11-29 6978
本文介绍BPTT的原理和实现，是读“Recurrent Neural Networks Tutorial, Part 3 – Backpropagation Through Time and Vanishing Gradients”的读书笔记，代码也来自于这篇文章，加了部分注释。
GABP_机器学习_人工智能_反向传播算法_优化_遗传算法_
10-01
在IT领域，特别是机器学习和人工智能的范畴内，反向传播算法（Backpropagation, BP）和遗传算法（Genetic Algorithm, GA）是两种至关重要的优化技术。本项目结合这两种算法，通过遗传算法来优化BP神经网络的权重和...
误差反向传播的python实现（简单高效计算梯度值）
wulimmya的博客
08-15 2717
NN的学习中需要计算权重和偏置参数的梯度，对于梯度的计算，很容易想到数值导数，即前向差分 dx=f(x+h)−f(x)hdx=\frac{f(x+h)-f(x)}{h}dx=hf(x+h)−f(x)​ 或者改进一点，用中心差分(更接近准确的导数值) dx=f(x+h)−f(x−h)2hdx=\frac{f(x+h)-f(x-h)}{2h}dx=2hf(x+h)−f(x−h)​ h取一个接近0的数值...
从反向传播推导到梯度消失and爆炸的原因及解决方案（从DNN到RNN）
weixin_49717022的博客
08-08 1298
梯度消失，爆炸产生原因： 求和操作其实不影响，主要是是看乘法操作就可以说明问题 所以，总结一下，为什么会发生梯度爆炸和消失： 本质上是因为神经网络的更新方法，梯度消失是因为反向传播过程中对梯度的求解会产生sigmoid导数和参数的连乘，sigmoid导数的最大值为0.25，权重一般初始都在0，1之间，乘积小于1，多层的话就会有多个小于1的值连乘，导致靠近输入层的梯度几乎为0，得不到更新。梯度爆炸是也是同样的原因，只是如果初始权重大于1，或者更大一些，多个大于1的值连乘，将会很大或溢出，导致梯度更新过
深度学习| 正向传播和反向传播、梯度爆炸和梯度消失
qq_40306845的博客
03-13 1781
快速理解正向传播和反向传播、梯度爆炸和梯度消失的原理。
RNN系列教程之三 | 基于时间的反向传播算法和梯度消失问题
weixin_33940102的博客
02-09 786
前一部分中，我们介绍了如何在Python和Theano框架下实现RNN，但还未深入了解时序反向传播算法（BPTT）是如何计算梯度的。这周，我们将简单介绍BPTT，并解释其与传统反向传播的区别。我们还将了解梯度消失问题，这也是推动LSTM（长短时记忆）和GRU（门控循环单元）（目前在NLP和其他领域最流行且有效模型）发展的原因。1991年，梯度消失问题最...
李沐第十三课--时间反向传播
u010995990的博客
02-24 550
反向传播是计算深度学习模型参数梯度的方法。总的来说，反向传播中会依据微积分中的链式法则，按照输出层、靠近输出层的隐含层、最近输入层的隐含层和输入层的次序，依次计算并存储模型损失函数有关模型各层的中间变量和参数的梯度 反向传播对于各层中变量和梯度的计算可能会依赖各层变量和参数的当前值 正向传播：对深度学习模型按照输入层、最近输入层的隐含层、靠近输出层的隐含层和输出层的次序，依次计算并存储模型的中...
【AI】《Gradient vanishing and explosion》
bryant_meng
04-11 1853
1 参数说明 2 反向传播 3 梯度消失 4 梯度爆炸（激增） 5 梯度不稳定 6 梯度消失、爆炸的解决方案 7 反向传播公式推导 7.1 问题描述 7.2 Chain rule 7.2.1 First Term 7.2.2 Second Term 7.3 Summary 7.4 Compare with forward propagation 7.5 Verification 参考...
深度学习——反向传播（Backpropagation）
johnny_love_1968的博客
06-05 3万+
反向传播算法（Backpropagation） 文章目录反向传播算法（Backpropagation）一.简介二.反向传播原理2.1 导数的链式法则2.2 正向传播与反向传播三.总结 一.简介 无论是机器学习，还是深度学习。都绕不开一个梯度下降。在进行深度学习简介的时候，我们有介绍过深度学习的大致步骤，分别为： 构建神经网络 数据拟合 选出最佳模型 其中，选出最佳模型的方式，其实就是利用梯度下降算法，选出损失函数最小的那个。在传统的机器学习当中，这个比较容易，直接算就行了。但是在深度学习当中，由于存在输
深度学习中的梯度消失、梯度爆炸问题
Toby的博客
08-07 2218
写在前面： 有些博主对这个问题的解释很好，这里也做了参考： 详解机器学习中的梯度消失、爆炸原因及其解决方法 1、什么是梯度消失、梯度爆炸 2、为什么会发生梯度消失、梯度爆炸 3、梯度消失、梯度爆炸在深度学习、机器学习模型训练中的表现形式 4、在模型中快速定位梯度消失、梯度爆炸问题 5、梯度消失、梯度爆炸问题的解决方法 6、总结 ...
RNN基于时间的反向传播算法BPTT（Back Propagation Trough Time）梯度消失与梯度爆炸
あずにゃん梓喵的博客
08-17 1075
将RNN展开之后，前向传播（Forward Propagation）就是依次按照时间的顺序计算一次就好了， 反向传播（Back Propagation）就是从最后一个时间将累积的残差传递回来即可，这与普通的神经网络训练本质上是相似的。 ...
基于时间的反向传播算法BPTT（Back Propagation Trough Time）
sherry940621的博客
12-26 1万+
由于RNN引入了时序性，对其进行权重更新要基于时间的反向传播算法BPTT（Back Propagation Trough Time）。本文基于Mikael Boden的文章“A guide to recurrent neural networks and backpropagation”，详细推导了simple RNN的权重更新公式。
反向传播算法（过程及公式推导）
热门推荐
Arthur-Chen的专栏
04-01 20万+
反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。
标准反向传播推导手稿
sunlanchang的博客
04-25 567
神经网络反向传播算法的简单推导手稿，以便日后查阅使用。这篇文章反向传播算法推导写的非常好，一步一步推导计算反向传播，非常值得阅读。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值