3_Long Short Term Memory (LSTM)

最新推荐文章于 2025-03-28 17:57:59 发布
原创 最新推荐文章于 2025-03-28 17:57:59 发布 · 881 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#lstm #深度学习 #机器学习

本文介绍了LSTM（长短期记忆）网络的核心概念及其如何解决传统RNN中的梯度消失问题。详细探讨了遗忘门、输入门、新值及输出门的工作机制，并给出了一个基于IMDB影评的情感分析实例。

文章目录

一、LSTM核心思想

  • LSTM是一种RNN模型
  • LSTM是对简单循环神经网络的改进
  • LSTM可以避免梯度消失的问题，可以有更长的记忆

image-20210330213707527

1.1 Conveyor Belt（传输带）

  • 传输带记为向量Ct：过去的信息通过传输带直接送到下一个时刻，不会发生太大的变化。
  • LSTM就是靠传输带来避免梯度消失的问题

image-20210330214801982

二、LSTM分布指南

2.1 Forget Gate（遗忘门）

  • 遗忘门有两部门组成；
  • 输入的Sigmoid函数是一个向量a，Sigmoid对向量a中的每一个元素都进行压缩，压缩在（0,1）之间的范围
  • Elementwise multiplication：两个矩阵对应位置元素进行乘积

1

遗忘门（ft）：一个向量，有选择的让传输带C的值通过。

  • 假如f的一个元素为0，，则C对应的元素就不能通过，对应的输出为0。
  • 假如f的一个元素为1，，则C对应的元素全部通过，对应的输出为C本身。

image-20210330222321423

参数矩阵Wf ，需要通过反向传播从训练数据中学习。

2.2 Input Gate（输入门）

输入门（it）：更新传输带的值

参数矩阵Wi ，需要通过反向传播从训练数据中学习。

image-20210331150146737

2.3 New value（新的值）

New value：将值添加到传输带上

image-20210331150516184

image-20210331152558877

2.4 Output gate（输出门）

输出门（Ot）：

image-20210331155021121

三、LSTM: Number of Parameters（参数数量）

有4个参数矩阵，每个参数矩阵

  • 行：shape（h）
  • 列：shape（h）+ shape（x）

LSTM参数数量（没有统计截距）

  • 4×shape（h）× [ shape（h）+ shape（x） ]

image-20210331160045982

四、LSTM for IMDB Review

image-20210331160242776

# 设置超参数
vocabulary = 10000   # 词典里面有10000个词汇
embedding_dim=32     # shape(x)=32，词向量x的维度为32
word_num = 500       # 每个电影评论有500个单词，如果超过500个单词，就会被截掉；如果不到500，就会补够。
state_dim =32        # shape(h) = 32，状态向量h的维度为32


# 开始搭建网络
model = Sequential()     # 建立Sequential()模型
# 往model里面加层,Embedding层，把词映射成向量
model.add(Embedding(vocabulary,embedding_dim,input_length=word_num))
# 需要指定状态向量h的维度，设置RNN层的return_sequences=False，表示RNN只输出最后一个状态向量h，把之前的状态向量舍去
model.add(LSTM(state_dim,return_sequences=False))
# 全连接层，输入RNN的最后一个状态h，输出0-1之间的数
model.add(Dense(1, activation="sigmoid"))

model.summary()

image-20210331160751270

五、Summary（总结）

  • LSTM uses a "conveyor belt"to get longer memory than SimpleRNN.

  • Each of the following blocks has a parameter matrix:

    • Forget gate（遗忘门）
    • Input gate （输入门）
    • New value （新的输入）
    • Output gate（输出门）

  • Number of parameters:
    4 x shape (h) x [ shape (h) +shape (x) ].

Long ShortTerm Memory (LSTM)原理与代码实例讲解
AI天才研究院
08-06 1044
Long Short-Term Memory (LSTM)原理与代码实例讲解 1. 背景介绍 1.1 RNN的局限性 传统的循环神经网络(Recurrent Neural Network, RNN)在
Lstm通俗详解
qq_42189083的博客
04-27 1495
Lstm通俗详解 LSTM因其特殊的网络结构，目前在序列建模中有非常大的优势，也算是序列建模的标配了（不考虑Self-Attention的情况下）。 RNN的局限性 对RNN有认识的人都知道RNN在训练的过程中会有长期依赖的问题，这是由于RNN模型在训练时会遇到梯度消失(大部分情况)或者梯度爆炸(很少，但对优化过程影响很大)的问题。对于梯度爆炸是很好解决的，可以使用梯度修剪(Gradien...
LSTM的通俗易懂理解
jackzhang11的博客
04-16 2100
在观摩了李宏毅老师讲解的LSTM以后感觉豁然开朗，其实并没有很多教程里面说得那么晦涩。 理解LSTM有三个步骤，为什么，是什么，怎么用。 我们知道，用MLP和CNN这些网络在处理图像信息是比较work的。但是在处理语音这种序列信息时，其performance就一般了。比如我想要在某知名订票软件DTrip上预定机票，对手机说了一句“I will arrive Beijing on Oct. 1st....
通俗易懂LSTM
03-19
本文档详细讲解了LSTM的内部机理,调理清楚,通俗易懂,适合深度学习爱好者作为进阶材料阅读.
【转】Understanding LSTM
luchi007的专栏
04-12 486
Recurrent Neural Networks Humans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t throw...
用最通俗的方式理解LSTM和重要参数
weixin_60360239的博客
04-01 3964
LSTM---长短期记忆递归神经网络是一个非常常用的神经网络，其特点在于该网络引入了长时记忆和短时记忆的概念，因而适用于一些有着上下文语境的回归和分类，诸如温度预测或是语义理解。从利用pytorch来构造模型的角度来看，该模型相比于一般的模型会有一些不同的地方，尤其是在参数的设置上，本文尝试以一个相对通俗的方式来解释本人的一些理解。
LSTM（Long Short-Term Memory）
wangqiaowq的博客
04-26 1923
LSTM 网络引入了一种记忆单元（memory cell），用于存储和更新序列中的信息，并引入了三个门（gate）控制记忆单元中的信息流动：输入门（input gate）、遗忘门（forget gate）和输出门（output gate）。输入门控制新输入的流入，遗忘门控制历史信息的遗忘，输出门控制记忆单元中的信息输出。LSTM 网络的主要目的是解决传统 RNN 在训练过程中遇到的梯度消失和梯度爆炸问题，从而更好地捕捉序列数据中的长期依赖关系。：决定上一时刻的细胞状态中哪些信息应被丢弃。
桂韬__Long Short-Term Memory with Dynamic Skip Connections1
08-03
标题 "桂韬__Long Short-Term Memory with Dynamic Skip Connections1" 涉及的是一个针对长短期记忆网络（LSTM）的改进模型，该模型引入了动态跳过连接（Dynamic Skip Connections）。描述中提到，LSTM在捕捉长期...
精选资源
Long Short-Term Memory.pdf
08-08
在神经网络领域，Long Short-Term Memory（LSTM）是一种特殊的循环神经网络（RNN）结构，由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出，旨在解决传统RNN在处理长期依赖问题时面临的梯度消失和梯度爆炸等问题...
精选资源
BiLSTM_RNN-LSTM_RNN_short_lstm神经网络_LSTM_源码.zip
09-30
LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），解决了传统RNN在处理长距离依赖时的梯度消失问题。 LSTM的核心结构包括输入门、遗忘门和输出门，以及一个称为细胞状态的长期记忆单元。通过这些门...
深入理解LSTM
10-12
深入理解RNN和LSTM，对LSTM的解剖深刻，每一个公式意义说明详细。
通俗易懂的LSTM
热门推荐
qq_39439006的博客
11-27 1万+
目录一、LSTM的基础知识1、长依赖的问题2、LSTM的核心2、LSTM的门结构3、LSTM的变体: GRU二、LSTM的补充知识1、LSTM缓解梯度消失的原因 一、LSTM的基础知识 1、长依赖的问题 通过之前的分享，我们已经了解RNN的基本结构，同时也了解了RNN存在的梯度消失的问题，这里我们通过一个例子简单回顾下RNN处理任务的逻辑及梯度消失带来的问题。 考虑用一个语言模型通过利用以前的文字信息来预测下一个文字。如果我们需要预测“the clouds are in the sky”这句话的最后一个字，
理解LSTM通俗易懂版
studyvcmfc的专栏
04-01 281
https://www.jianshu.com/p/95d5c461924c
LSTM通俗理解
lwd906485829的博客
11-16 557
来源：https://blog.youkuaiyun.com/zhengxqq27/article/details/90481590 在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。实际上，传统神经网络没有记忆功能，所以它对每一刻出现的事件进行分类时不会用到影片已经出现的信息，那么有什么方法可以让神经网络能够记住这些信息呢？答案就是Re
最通俗易懂的LSTM讲解，一个例子理解通透！！
AI与算法都要通俗易懂
08-18 8922
LSTM 最通俗的理解！！！
通俗理解LSTM
最新发布
tinstone的博客
03-28 1万+
介绍LSTM主要组成及公式解析
通俗理解---LSTM
谁怕平生太急
09-05 614
LSTM：RNN中一种重要的变种，应用最广泛的特征抽取模型。 核心：既要考虑 “记住” 前面时刻的内容， 又要考虑不要让前面时刻的内容干扰到当前时刻的输入。 以下内容由自己口水话的方式论述， 不涉及参数计算、和具体前向、反向传播算法。 先贴一张内部原理图： 关于这张图，见过很多遍，但是完全理解却花了不少时间。以下是我个人的一些通俗理解： LSTM建立的初衷是为了解决 对长句子记忆不到位的问题。 ...
通俗理解什么是 LSTM 神经网络
AI与算法都要通俗易懂
12-14 2493
然后和上面经过遗忘门筛选过的信息相加，就得到了一个新的考高数时的知识库（在这里，有上一层（考完线性代数后）遗留下来的与高数考试相关的知识，比如加减乘除等通用运算知识，也有本次复习高数之后经过提纯的知识，比如微积分，可以说是必考题）。形象的解释一下这个过程：我们学习了高数的内容（xt），大脑中还保留了一部分上一场线性代数的内容，也就是隐藏状态（ht-1），这两个状态经过激活函数激活，选择性的保留，谁的权重大，那么谁最后保留下来的信息就多。可以认为是训练 LSTM 网络的事了。
LSTM理解
weixin_45225032的博客
04-07 1845
要点： 1.LSTM 即 Long Short-Term Memory 长短期记忆网络， 是一种特殊的RNN循环神经网络。 2.LSTM解决了RNN存在的长期依赖问题而专门设计出来的。 RNN的问题在于其中重复神经网络模块的链式形式只有一个非常简单的结构，如一个tanh层。这就使得RNN在以前信息距离现在信息很近的时候，可以利用以前的信息。但当以前的信息距离现在很远的时候，RNN就无法利用信息。 3.LSTM是如何解决远距离信息无法利用的问题的？ 与标准RNN中的重复模块的单层神经网络不同，LSTM
long short term memory networks with python中文
07-08
### 回答1： 长短期记忆网络（Long Short Term Memory Networks，LSTM）是一种用于处理序列数据的深度学习模型，用于解决传统循环神经网络（RNN）中的梯度消失问题。 Python是一种通用的编程语言，可以使用Python编写LSTM模型。在Python中，可以使用多个深度学习框架（如TensorFlow、Keras、PyTorch等）中的库来实现LSTM网络。 要实现LSTM模型，首先需要导入相应的深度学习库。然后，通过定义模型的参数、数据预处理、定义LSTM层、编译模型、训练模型和评估模型等步骤来构建LSTM网络。在编写代码时，可以使用Python的强大的科学计算库来处理数据和进行数学计算。 在使用Python实现LSTM时，可以根据具体的需求进行调整和优化模型的结构和参数。可以通过调整LSTM层的单元数、增加隐藏层、引入正则化和优化算法来提高模型性能。此外，还可以使用交叉验证和调参技术来选择最佳的超参数。 Python作为一种简洁易用的编程语言，提供了丰富的工具和库来支持LSTM模型的实现和应用。通过使用Python，我们可以轻松地构建和使用LSTM网络，从而应用于各种序列数据相关的任务，如语音识别、自然语言处理、时间序列预测等。 ### 回答2： 长短期记忆网络（Long Short Term Memory Networks，简称LSTM）是一种特殊的循环神经网络（Recurrent Neural Networks，简称RNN），用于处理和预测序列数据。 在Python中，我们可以使用一些开源的深度学习框架，如TensorFlow或PyTorch，来构建和训练LSTM网络。这些框架提供了一系列函数和类，可以轻松地构建、训练和测试LSTM模型。 首先，我们需要导入相应的库和模块。例如，在TensorFlow中，我们可以使用`import tensorflow as tf`来导入TensorFlow库。 接下来，我们可以定义LSTM模型的结构。LSTM网络由多个LSTM单元组成，每个单元有一个隐藏状态和一个记忆单元。我们可以使用框架提供的API来定义一个LSTM层，并设置相应的参数，如隐藏单元的数量和输入序列的长度。 然后，我们可以定义模型的其余部分，如输入层、输出层和损失函数。根据具体任务的要求，我们可以选择不同的网络结构和损失函数来满足需求。 接下来，我们可以进行模型的训练。我们需要提供训练数据和标签，并选择适当的优化算法来更新模型的参数。通过迭代训练过程，我们可以逐渐改善模型的性能。 最后，我们可以使用训练好的模型对新的数据进行预测。我们可以加载保存的模型，并使用它来预测新的序列数据。 总之，使用Python可以方便地构建和训练LSTM网络。通过选择适当的开源深度学习框架和实现合适的网络结构，我们可以有效地在序列数据任务中应用LSTM网络。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

少云清

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值