RNN学习(二)——LSTM

最新推荐文章于 2022-07-04 20:50:32 发布
最新推荐文章于 2022-07-04 20:50:32 发布
阅读量300 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43535573/article/details/90266927
本文探讨了长短期记忆网络(LSTM)如何解决循环神经网络(RNN)的局限性。LSTM通过控制参数C，决定信息的保留与遗忘，有效避免了长期依赖问题。文章详细解析了LSTM的工作原理，包括遗忘门、输入门和输出门的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为了解决RNN的一些缺点，RNN与LSTM对比。
在这里插入图片描述
LSTM具体实现思路如下：
(1)C：控制参数
决定什么样的信息会被保留什么样的会被遗忘

在这里插入图片描述
在这里插入图片描述

丢弃的信息：

先把当前节点的输入和之前记忆的输入传递进来，然后通过sigmod函数组合起来后得到的函数值（0,1）之间，然后再跟Ct-1组合，决定丢弃什么信息。Ct是永远更新维护的值。
(2)保留的信息
在这里插入图片描述
(3)更新控制参数在这里插入图片描述
根据旧的控制参数Ct-1和新生成的更新控制参数C~t,共同决定此时此刻细胞的控制参数Ct。
遗忘的信息Cti-1和保留Ct的信息。先走遗忘的信息，再走保留的信息。Ct从开始到最后一直更新。
(4)LSTM的输出
在这里插入图片描述

深度学习实战 —— LSTM、RNN、GRU（SE注意力）、卡尔曼轨迹预测
qq_37668436的博客
01-19 2712
LSTM GRU RNN SE轨迹预测
深度学习实战（三）：利用RNN与LSTM网络实战——LSTM进行情感分析
InitialHeart2021的博客
05-18 532
版权声明：本文为博主原创文章，未经博主允许不得转载。 文章目录一、RNN / LSTM结构介绍二、LSTM情感分类分析2.1 项目介绍2.2 深度学习在自然语言处理中的应用2.3 词向量模型2.4 Word2Vec2.5 Recurrent Neural Networks (RNNs)2.6 Long Short Term Memory Units (LSTMs)三、案例流程四、代码实现4.1 情感数据集处理4.1.1 导入数据 / 加载词向量模型4.1.2 读取数据4.1.3 数据可视化4.1.4 数据预
RNN之LSTM
Rebaccaminmin的博客
08-04 781
开始学习lstm，从《LONG SHORT-TERM MEMORY》这篇论文读起，但是论文中涉及到太多基础理论和公式，所以还是看了很多blog（eg：http://colah.github.io/posts/2015-08-Understanding-LSTMs/等）之后再读paper，开始有所研究。 paper中提到LSTM与传统RNN重要的不同点在于对梯度的截断：truncating the g
探索LSTM：基本概念到内部结构
weixin_33796177的博客
01-02 273
本文来自AI新媒体量子位（QbitAI） 作者简介：Edwin Chen，在MIT研究数学/语言学，在微软研究院研究语音识别，在Clarium研究量化交易，在Twitter研究广告，在Google研究机器学习。 在这篇文章中，作者首先介绍了一下神经网络、RNN和LSTM的基本概念，然后举例对比了三种网络的性能，并且进一步讲解了LSTM。 LSTM是神...
LSTM RNN
wangqi1113的博客
07-15 422
个人认为下面这篇博文非常适合初学或者学的很浅的朋友。 转自http://www.jianshu.com/p/9dc9f41f0b29 经常接触LSTM，GRU,RNN这些模型，对于LSTM的印象只是知道它用来解决梯度消失梯度爆炸问题，对于长距离的句子的学习效果不好的问题，而且大概...
LSTM 和RNN
xinming_365的博客
01-08 479
LSTM（Long Short-Term Memory )长短期记忆网络。一开始用于解决RNN结构中梯度消失问题而提出来的。LSTM设计了输入门（i），遗忘门（f），输出门（o）消除或者增加细胞状态的能力，最终使得LSTM具有记忆长期信息的能力。 需要理解这三个门的工作才能够真正理解lstm在做什么。i，f，o都是sigmoid函数运算，取值范围在0，1之间。f门对上一层（上一时刻）的输出和本层的...
LSTM及RNN简单总结
lck5602的专栏
03-09 649
RNN及LSTM RNN可以记住之前的信息，将当前信息联系到之前的信息，比如预测“the cloud are in the sky”最后的词，我们并不需要其他的上下文就能知道是sky，这种场景中，相关信息和预测距离比较近，因此RNN可以有效利用先前的信息。 但是当信息距离比较长，比我我们看的一些电影，在前部份埋下伏笔，最后破案的过程中发现原来这地方是这个原因，原来如此，间隔非常远，如果用rcn...
深度学习——RNN与LSTM简介
johnny_love_1968的博客
06-17 4339
深度学习——RNN与LSTM 文章目录深度学习——RNN与LSTM一.序列模型二. RNN1. 为什么用RNN2. RNN简介3. 双向RNN三.LSTM1. 一般RNN存在的问题2. LSTM简介2.1 LSTM单个单元是如何运作的？2.2 LSTM网络3. LSTM为什么能解决梯度问题？ 一.序列模型 所谓的序列模型，是指：按照时间顺序，顺序发生的东西，这些东西，都可以统称为“序列模型”。比如说，我们听的音频，我们说的语言。对应到机器学习当中，可以是：音频生成，机器翻译，自然语言处理等等。这些模型都可以
深度学习中的时间序列神器——LSTM深度剖析.zip
最新发布
02-26
在人工智能领域，深度学习技术近年来取得了令人瞩目的成就，尤其在处理时间序列数据方面，长短期记忆网络（Long Short-Term Memory, LSTM）作为一种特殊的循环神经网络（RNN）架构，已经成为理解和预测时间序列数据...
深度学习——LSTM基础
LongXinKou的博客
07-04 705
记住所有信息。 （1）定义与特性 RNN之所以在时序数据上有着优异的表现是因为RNN在t时间片时会将t-1时间片的隐节点作为当前时间片的输入。 （2）问题LSTM之所以能够解决RNN的长期依赖问题，是因为LSTM引入了门（gate）机制用于控制特征的流通和损失。（1）定义与特性 设置记忆细胞，选择性的记忆。 （2）前向传播 选择性的保留历史记忆，吸收新的知识输出门oto_tot​： ①ot=σ(Wxoxt+Whoht−1+bo);o_t=\sigma(W_{xo}x_t+W_{ho}h_{t-1}+
LSTM与RNN的比较
热门推荐
张洁的笔记
04-14 5万+
参考博客：[译] 理解 LSTM 网络 之前提到了RNN，也提到了RNN在处理long term memory的时候存在缺陷，因此LSTM应运而生。LSTM是一种变种的RNN，它的精髓在于引入了细胞状态这样一个概念，不同于RNN只考虑最近的状态，LSTM的细胞状态会决定哪些状态应该被留下来，哪些状态应该被遗忘。 下面来看一些RNN和LSTM内部结构的不同： RNN LSTM ...
RNN&LSTM
qq_42141843的博客
07-20 351
循环神经网络 RNN 1、前言 数据足够多的时候RNN已经不流行了，自然语言处理多用transformer来进行 2、怎样用时序数据来建模？ 传统的one to one模型不适合处理时序性数据，通常情况来说输入和输出的长度都不固定 ，对于时序数据，最好输入和输出的长度都不固定 many to one / many to many, 状态ht看做是从这句话“ the cat sat on the mat.”抽取的特征向量 更新状态h需要用到参数A A 是参数矩阵，整条链只有一个，A随机初始化，然后利用训练数
深度学习～循环神经网络RNN, LSTM
天狼啸月1990的博客
07-02 3259
problem：传统的深度神经网络输入信息没有顺序。比如，NLP领域中，我们输入单词经常使用embedding，将单词映射为词向量，然后输入到神经网络。但这种输入方式有一些问题，“我 爱 你”和“你 爱 我”在传统的神经网络中不能很好的识别。虽然，有人提出n-gram信息加入到输入层，比如fasttext，这在一定程度上解决了短句子单词间的顺序问题，但是这种方法也有一些弊端，就是我们无法捕获长句子的单词依赖！
RNN与LSTM
lzw刘仔很忙的博客
01-25 1949
RNN，或者说最常⽤的LSTM，⼀般⽤于记住之前的状态，以供后续神经⽹络的判断，它由input gate、forget gate、output gate和cell memory组成，每个LSTM本质上就是⼀个neuron，特殊 之处在于有4个输⼊： 和三⻔控制信号 、 和 每个时间点的输⼊都是由当前输⼊值+上⼀个 时间点的输出值+上⼀个时间点cell值来组成。 介绍 在智能客服、智能订票系统中，往往会需要slot filling技术，它会分析⽤⼾说出的语句，将时间、地址 等有效的关键词填
RNN和LSTM
fuermolei的博客
08-02 5918
rnn 循环神经网络，(Recurrent Neural Network) 循环神经网络的主要用途是处理和预测序列数据。在全连接神经网络或者卷积神经网络中，都素hi从输入层到隐藏层再到输出层的，层与层之间都的全连接的，但每层之间的结点是无连接的。这就导致当前神经元没有前一个的记忆。而RNN的隐藏层之间的结点是有连接的，RNN的当前隐藏的输入包含输入层的输出和上一个隐藏层的输出。下图是一个单独的循...
三十三、两套代码详解LSTM-RNN——有记忆的神经网络
jiangjingxuan的博客
01-25 1万+
不管是什么样的神经网络算法，总能找到各种语言的库帮助你实现你的需求，但是我们总是看不清那个黑盒子里到底是怎样的一种存在，如果想真正掌握一种算法，最实际的方法就是完全手写出来，本节我就通过两套LSTM的简单实现来分享掌握LSTM的快乐 请尊重原创，转载请注明来源网站www.shareditor.com以及原始链接地址 掌握LSTM有什么用 在读代码之前我们要先知道我们读这段代码的意义是什么。L
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值