Long Short Term Memory（LSTM）

最新推荐文章于 2025-03-02 09:15:00 发布
最新推荐文章于 2025-03-02 09:15:00 发布
阅读量478 收藏
点赞数 1
分类专栏： Master深度学习 文章标签： lstm 自然语言处理 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Francis_s/article/details/120615291
版权
LSTM（长短期记忆网络）通过引入门控机制解决了RNN的梯度消失问题。它包含遗忘门、输入门和输出门，允许网络选择性地保留或丢弃信息。遗忘门控制前一时刻的状态信息，输入门决定当前时刻新信息的存储，输出门则决定最终输出哪些记忆信息。这种设计使得LSTM能够有效地捕捉长期和短期依赖，缓解了梯度消失，提高了对长时间序列信息处理的能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

LSTM 的提出就是为了解决RNN的梯度消失/爆炸以至于引起对时间久远的信息不敏感的问题（久远的信息对当前时刻的更新不做贡献）

1.LSTM 结构

        总的来说就是多了几个控制的门，每次新的信息进来还有每次拿旧的信息我都不是全部拿，而是有选择性地拿，至于怎么选择性地拿，就交给网络自己学习了

        直接上图： 

        在RNN的基础上，除了隐层状态外，我们引入了新的状态C_t，用来决定我要保留之前的多少信息。最最关键就是这个了C了，暂且称为Cell吧

        首先先看这个C，这个C就是代表我们在当前这个时刻，要记住的东西，分别有两部分，第一部分是前一时刻保留了多少信息，第二部分保留当前时刻新进来的信息。这个东西就是LSTM和RNN做出区别的存在了，他可以让网络选择记住很久很久以前的信息，从而弥补RNN的缺点。

 

        第一部分我们通过遗忘门去控制，就是上图的红色圈，这个圈的具体公式是，激活函数是sigmod，出来的值是0-1： 

f_t = \sigma(W_f*[h_{t-1}, x_t] + b_f)

        用人话来说就是我这个W_f决定着我们还需不需要记住前面状态的信息，即当前时刻的记忆状态有多少是来自于前面的记忆。

        第二部分公式： 引用一下强哥的图：

        先看上面遗忘门右边的，也就是这个红色框，我们管它叫更新门

这里包含两个部分。第一，sigmoid 层称 “输入门层” 决定什么值我们将要更新。然后，一个 tanh 层创建一个新的候选值向量：\hat{C_t}，会被加入到状态中。总的来说：这个门就是控制当前时刻的记忆有多少会来自于当前时刻的输入本身， 

         至此，我们当前时刻的cell状态了：

C_t = f_t*C_{t-1} + i_t*\hat{C_t}

        理解这个C最最最主要的还是：代表我们在当前这个时刻，要记住的东西，分别有两部分，第一部分是前一时刻保留了多少信息（通过遗忘门去控制忘记了多少），第二部分保留当前时刻新进来的信息（通过更新门实现) 

        最后 我们来看一下当前时刻的输出是怎么玩的！上图：

        这个 O_t就是output了，同理，他可以通过矩阵W_o去选择要多少当前的输入信息以及多少旧时刻的信息，我们管这个叫输出们。

        接着，我们把细胞状态通过 tanh 进行处理（得到一个在 -1 到 1之间的值）并将它和输出门的输出相乘，最终我们仅仅会输出我们确定输出的那部分:h_t

        最最后，再接一层softmax，就是真正的输出了。

2. Summary 

        LSTM在记忆这方面非常的灵活，就是既可以长期记忆也可以短期记忆，它在RNN的基础上增加了自由的选择记忆功能， 也就是会有一个记忆cell， 这里面会只存储和当前时刻相关的一些重要信息， 毕竟每个时刻关注的上下文点可能不一样， 这个交给网络自己选择， 光有cell也不能起到好作用， 还得有两个门协助它完成选择和过滤的功能， 所以遗忘门帮助它衡量需要记住多少前面时刻的状态信息， 更新门帮助它衡量需要记住当前时刻的多少状态信息， 这俩一组合就是比较理想的记忆了。 但是即使是这样， LSTM依然不放心把这个记忆作为输出， 又加入了一个输出门， 来自由的选择我用多少记忆的信息作为最后的输出， 所以LSTM有了这三个门， 有了记忆cell， 使它变得更加的灵活， 既可以捕捉短期依赖， 也可以捕捉长期依赖， 并且也缓解了梯度消失。总结在这里引用

 

3. LSTM是怎么解决 梯度消失/爆炸的问题

        我们应该还记得为什么RNN有这个问题，就是因为那个连乘公式：\prod\frac{\partial S_j}{\partial S_{j-1}}, 就是一个tanh'W的结果，当里面某一层的这个值，也就意味着这一层对当前反向传播是没有做出贡献的，反而是近距离的做出巨大的贡献，所以RNN无法捕捉长期依赖。

        我们现在来看看LSTM怎么解决，上面提到了，输出其实是关于C_t的函数，所以最后演变成\prod \frac{\partial C_j}{\partial C_{j-1}}这个会影响结果是否会有梯度消失/梯度爆炸。

        我们先把所有公式列出来，看看C_t怎么来的：

         然后把\prod \frac{\partial C_j}{\partial C_{j-1}}根据链式求导法则列出来：

\frac{\partial C_t}{\partial C_{t-1}} = \frac{\partial C_t}{\partial f_t}\frac{\partial f_t}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial C_{t-1}} + \frac{\partial C_t}{\partial i_t}\frac{\partial i_t}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial C_{t-1}}+ \frac{\partial C_t}{\partial \hat C_t}\frac{\partial \hat{C_t}}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial C_{t-1}} + \frac{\partial C_t}{\partial C_{t-1}}

        这里我们可以发现他不像RNN那样简单，那么枯燥，RNN就保留一个tanhW，所以每一次RNN都是 [-1,1]。但是我们这个lSTM可以是任意数啊，而且有很多个门去决定，这样的网络通过调节对应门的值来决定何时让梯度消失， 何时保留梯度， 这就是LSTM超级牛的地方。

 

 

 

 

 

        

自然语言处理之情感分析：Long Short-Term Memory Networks (LSTM)：LSTM在多语言情感分析中的应用
zhubeibei168的博客
04-29 936
在当今数字化时代，互联网上的文本数据量呈爆炸性增长，其中包含了大量用户对产品、服务、事件等的评价和反馈。情感分析（Sentiment Analysis），作为自然语言处理（NLP）的一个重要分支，旨在从这些文本中自动识别和提取情感信息，如正面、负面或中立的情感倾向。这对于企业理解消费者需求、市场趋势分析、舆情监控等具有重大意义。
Long ShortTerm Memory (LSTM)原理与代码实例讲解
AI天才研究院
08-06 977
Long Short-Term Memory (LSTM)原理与代码实例讲解 1. 背景介绍 1.1 RNN的局限性 传统的循环神经网络(Recurrent Neural Network, RNN)在
Long Short-term Memory
09-18
Long short-term memory (LSTM) is a recurrent neural network (RNN) architecture that remembers values over arbitrary intervals. Stored values are not modified as learning proceeds. RNNs allow forward and backward connections between neurons. An LSTM is well-suited to classify, process and predict time series given time lags of unknown size and duration between important events. Relative insensitivity to gap length gives an advantage to LSTM over alternative RNNs, hidden Markov models and other sequence learning methods in numerous applications.
LSTM(Long Short-Term Memory)和LSTM例子理解
danerer的专栏
01-19 1535
What is LSTMLSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。 LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。LSTMLSTM是为了解
2021-10-24
Kwjdefulgn的博客
10-24 325
1. RNN x 为当前状态下数据的输入， h 表示接收到的上一个节点的输入。 y为当前节点状态下的输出，而 h’ 为传递到下一个节点的输出。 通过上图的公式可以看到，输出 h’ 与 x 和 h 的值都相关。 而 y 则常常使用 h’ 投入到一个线性层（主要是进行维度映射）然后使用softmax进行分类得到需要的数据。 对这里的y如何通过 h’ 计算得到往往看具体模型的使用方式。 通过序列形式的输入，我们能够得到如下形式的RNN。 2. LSTM 2.1 什么是LSTM 长短期记忆（Long short
Long Short Term Memory(LSTM)
龙行天下的博客
05-30 712
LSTM也就是长短期记忆，是用来解决RNN网络中的梯度消失而提出的。 首先我们了解一下RNN(循环神经网络)，该网络主要用来处理时序问题，也就是网络的前后输入之间是有联系的，网络不仅要学习输入样本本身的特征，还有学习相邻输入样本之间的关系，所以RNN常用来处理自然语言问题，因为要理解一句话，不仅要理解话里的每个字或单词的意思，还要理解这些字或单词的不同排列顺序会产生什...
LSTM（Long Short-Term Memory）
sinat_28056533的博客
06-28 411
LSTM（Long Short-Term Memory） 是一种神经递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。 基于LSTM的系统可以学习翻译语言，控制机器人，图像分析，文档摘要，语音识别，图像识别，聊天机器人，预测疾病，点击率股票，合成音乐等。...
Long Short-Term Memory.pdf
08-08
在神经网络领域，Long Short-Term Memory（LSTM）是一种特殊的循环神经网络（RNN）结构，由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出，旨在解决传统RNN在处理长期依赖问题时面临的梯度消失和梯度爆炸等问题...
Long Short-Term Memory Networks With Python
01-30
作者为Jason Brownlee. 请支持正版！本资源供非商业用途共享！ About the Ebook: 3 parts, 14 step-by-step tutorial lessons, 246 pages. 6 LSTM model architectures. 45 Python (.py) files.
长短期记忆网络（Long Short-Term Memory，LSTM）
m0_66890670的博客
10-22 1509
本文详细介绍了LSTM的核心理念、详细结构、工作流程、门控制、信息流动与记忆更新、变种与扩展、实现细节与优化，并附带了案例分析和python代码。
LSTM（Long Short-Term Memory）长短期记忆网络
01-24
LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。 LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制...
Long Short term memory unit(LSTM)
Steve Wang's blog
01-16 762
整理并翻译自吴恩达深度学习系列视频：序列模型第一周。 Prerequisite：Gated Recurrent Unit(GRU) Long Short term memory unit(LSTM) GRU 和 LST的对比。 LTSM计算公式如下： C~<t>=tanh(Wc[C<t−1>,x<t>]+bc...
LSTM（Long-Short Term Memory,LSTM）
xinxin的博客
08-19 152
一句话介绍LSTM，它是RNN的进阶版，如果说RNN的最大限度是理解一句话，那么LSTM的最大限度则是理解一段话，详细介绍如下：LSTM，全称为长短期记忆网络(Long Short Term Memory networks)，是一种特殊的RNN，能够学习到长期依赖关系。长短期记忆网络论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。
Long Short Term Memory networks(LSTMs)
wdmlovekerry的博客
05-20 659
背景：在我之前的一篇博客中说了一下对RNN的理解，RNN对于长句子表示的不是很好，超过六七层的网络之后就很难获得之前内容的信息了，目前的框架是基于梯度的，多层网络很容易出现梯度弥散的情况。但是对于NLP任务中，输入序列长度会很长，基本的RNN网络就不太适合处理这些任务了。于是大牛们Hochreiter & Schmidhuber [1]就提出了LSTM网络，让处理长序列也变得可能。原理：L...
非监督特征学习与深度学习（十五）--------长短记忆（Long Short Term Memory，LSTM）
冬之晓
09-12 4702
注：本文转载自https://github.com/exacity/simplified-deeplearning/blob/master/%E5%BE%AA%E7%8E%AF%E9%80%92%E5%BD%92%E7%BD%91%E7%BB%9C/LSTM.md 因为github上的makedown格式显示的不够完全，看的非常不方便，因此放到优快云上比较好查阅学习。 LST...
机器学习算法解析：长短时记忆网络（LSTM）
DeepViewInsight的博客
09-18 3694
长短时记忆网络（LSTM）是一种循环神经网络（Recurrent Neural Network，RNN）的变种，专门用于处理序列数据。与传统的RNN相比，LSTM在捕捉序列数据中的长期依赖关系时表现更出色。这使得它成为自然语言处理、时间序列分析、机器翻译等领域的首选算法之一。LSTM的名字中包含了两个关键概念：“长时”和“短时”。它的设计初衷是解决传统RNN在处理长序列时的梯度消失和梯度爆炸问题。通过引入一种特殊的记忆单元，LSTM可以在不损失长期记忆的情况下，更好地处理序列数据。
长短时记忆网络LSTM
qq_45738095的博客
05-24 1748
长序列依赖问题：在传统的循环神经网络（RNN）中，随着序列长度的增加，梯度在反向传播过程中可能会变得非常小（梯度消失）或非常大（梯度爆炸），导致模型难以学习到长距离的依赖关系。请注意，这只是一个简化的例子，实际的股票市场预测会更加复杂，并需要考虑更多的因素。以下是使用Python和Keras库构建一个简单的LSTM模型的例子，这个模型将用于文本分类任务，即根据输入的文本将文本分类到不同的类别中。在创作诗歌、故事或新闻文章时，LSTM可以根据给定的文本序列生成新的文本内容，模仿特定作者的风格或创造新的内容。
LSTM (Long Short-Term Memory)
很吵请安静
06-13 5066
LSTM (Long Short-Term Memory) LSTM的产生 LSTM产生的原因： 第一代RNN在处理长序列时，该记住的信息没记住，可能不该记住的信息却记得很牢。 而LSTM通过引入巧妙的可控自循环，能产生让梯度能够得以长时间可持续流动的路径。 标准的RNN结构如下，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层。 LSTM 同样是这样的结构，但是重复的模块拥有一个不...
长短时记忆网络（Long Short - Term Memory，LSTM）详细解释（带示例）
最新发布
TEUTEU的博客
03-02 1376
传统的循环神经网络（RNN）在处理长序列数据时，会面临梯度消失或梯度爆炸的问题，导致难以学习到序列中的长期依赖关系。LSTM 是一种特殊的 RNN 变体，由 Hochreiter 和 Schmidhuber 在 1997 年提出，其设计目的就是为了解决 RNN 的这一缺陷，能够更好地捕捉序列中的长期依赖信息。
long short term memory networks with python中文
07-08
### 回答1： 长短期记忆网络（Long Short Term Memory Networks，LSTM）是一种用于处理序列数据的深度学习模型，用于解决传统循环神经网络（RNN）中的梯度消失问题。 Python是一种通用的编程语言，可以使用Python编写LSTM模型。在Python中，可以使用多个深度学习框架（如TensorFlow、Keras、PyTorch等）中的库来实现LSTM网络。 要实现LSTM模型，首先需要导入相应的深度学习库。然后，通过定义模型的参数、数据预处理、定义LSTM层、编译模型、训练模型和评估模型等步骤来构建LSTM网络。在编写代码时，可以使用Python的强大的科学计算库来处理数据和进行数学计算。 在使用Python实现LSTM时，可以根据具体的需求进行调整和优化模型的结构和参数。可以通过调整LSTM层的单元数、增加隐藏层、引入正则化和优化算法来提高模型性能。此外，还可以使用交叉验证和调参技术来选择最佳的超参数。 Python作为一种简洁易用的编程语言，提供了丰富的工具和库来支持LSTM模型的实现和应用。通过使用Python，我们可以轻松地构建和使用LSTM网络，从而应用于各种序列数据相关的任务，如语音识别、自然语言处理、时间序列预测等。 ### 回答2： 长短期记忆网络（Long Short Term Memory Networks，简称LSTM）是一种特殊的循环神经网络（Recurrent Neural Networks，简称RNN），用于处理和预测序列数据。 在Python中，我们可以使用一些开源的深度学习框架，如TensorFlow或PyTorch，来构建和训练LSTM网络。这些框架提供了一系列函数和类，可以轻松地构建、训练和测试LSTM模型。 首先，我们需要导入相应的库和模块。例如，在TensorFlow中，我们可以使用`import tensorflow as tf`来导入TensorFlow库。 接下来，我们可以定义LSTM模型的结构。LSTM网络由多个LSTM单元组成，每个单元有一个隐藏状态和一个记忆单元。我们可以使用框架提供的API来定义一个LSTM层，并设置相应的参数，如隐藏单元的数量和输入序列的长度。 然后，我们可以定义模型的其余部分，如输入层、输出层和损失函数。根据具体任务的要求，我们可以选择不同的网络结构和损失函数来满足需求。 接下来，我们可以进行模型的训练。我们需要提供训练数据和标签，并选择适当的优化算法来更新模型的参数。通过迭代训练过程，我们可以逐渐改善模型的性能。 最后，我们可以使用训练好的模型对新的数据进行预测。我们可以加载保存的模型，并使用它来预测新的序列数据。 总之，使用Python可以方便地构建和训练LSTM网络。通过选择适当的开源深度学习框架和实现合适的网络结构，我们可以有效地在序列数据任务中应用LSTM网络。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值