【LSTM】深入浅出讲解长短时记忆神经网络（结构、原理）

已于 2022-05-26 11:28:41 修改
阅读量5.1w 收藏 473
点赞数 71
CC 4.0 BY-SA版权
分类专栏： 深入浅出讲解自然语言处理 文章标签： lstm 神经网络 rnn 自然语言处理
于 2022-05-26 11:19:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/kevinjin2011/article/details/124980654
本文深入浅出地介绍了长短时记忆网络（LSTM），一种特殊的循环神经网络（RNN），旨在解决长期依赖性问题。文章详细解释了LSTM的结构、原理及其如何通过门控机制有效处理序列数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 本文收录于《深入浅出讲解自然语言处理》专栏，此专栏聚焦于自然语言处理领域的各大经典算法，将持续更新，欢迎大家订阅！
  • ​​个人主页：有梦想的程序星空
  • ​​个人介绍：小编是人工智能领域硕士，全栈工程师，深耕Flask后端开发、数据挖掘、NLP、Android开发、自动化等领域，有较丰富的软件系统、人工智能算法服务的研究和开发经验。
  • ​​如果文章对你有帮助，欢迎​​关注、​​点赞、​​收藏、​​订阅。

1、LSTM的背景介绍

        长短时记忆神经网络（Long Short-term Memory Networks，简称LSTM）是特殊的RNN，尤其适合顺序序列数据的处理，LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广，LSTM明确旨在避免长期依赖性问题，成功地解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。

2、RNN的不足

​

图1 RNN的网络结构图 

        循环神经网络处理时间序列数据具有先天优势，通过反向传播和梯度下降算法达到了纠正错误的能力，但是在进行反向传播时也面临梯度消失或者梯度爆炸问题，这种问题表现在时间轴上。如果输入序列的长度很长，人们很难进行有效的参数更新。通常来说梯度爆炸更容易处理一些。梯度爆炸时我们可以设置一个梯度阈值，当梯度超过这个阈值的时候可以直接截取。

        有三种方法应对梯度消失问题：

        （1）合理的初始化权重值。初始化权重，使每个神经元尽可能不要取极大或极小值，以躲开梯度消失的区域。

        （2）使用 ReLu 代替 sigmoid 和 tanh 作为激活函数。

        （3）使用其他结构的RNNs，比如长短时记忆网络（LSTM）和 门控循环单元 （GRU），这是最流行的做法。

3、LSTM的结构和原理

​

图2 LSTM的结构图 

上图中使用的各个元素的图标的含义如下图所示：

​

其中：

Neural Network Layer：神经网络层，用于学习；

Pointwise Operation：逐点运算操作，如逐点相乘、逐点相加、向量和等；

Vector Transfer：向量转移，向量沿箭头方向移动；

Concatenate：连接，将两个向量连接在一起；

Copy：复制，将向量复制为两份。

        LSTM核心是细胞状态，穿过图的顶部的长横线，长直线称之为细胞状态（Cell State），决定什么样的信息会被保留，什么样的信息会被遗忘，记为{C_t}​。

        细胞状态像传送带一样，它贯穿整个细胞却只有很少的分支，这样能保证信息不变的流过整个RNN，细胞状态如下图所示：

​

图3 细胞状态图

        LSTM网络能通过一种被称为门的结构对细胞状态进行删除或者添加信息。门能够有选择性的决定让哪些信息通过。门的结构为一个sigmoid层和一个点乘操作的组合，sigmoid层输出0到1之间的数，描述每个部分有多少量可以通过，0代表不允许任何量通过，1表示允许任何量通过，结构如下图所示：

​

图4 门结构单元

         LSTM实现了三个门计算，即遗忘门、输入门和输出门，用来保护和控制细胞状态。

        遗忘门负责决定保留多少上一时刻的单元状态到当前时刻的单元状态，即决定从细胞状态中丢弃什么信息。该门读取{h_{t - 1}}​和{x_t}​，然后经过sigmoid层后，输出一个0-1之间的数{f_t}​给每个在细胞状态{C_{t - 1}}​中的数字逐点相乘。{f_t}​的值为0表示完全丢弃，1表示完全保留。结构如下图所示：

​

图5 遗忘门结构图 

        输入门负责决定保留多少当前时刻的输入到当前时刻的单元状态，包含两个部分，第一部分为sigmoid层，该层决定要更新什么值，第二部分为tanh层，该层把需要更新的信息更新到细胞状态里。tanh层创建一个新的细胞状态值向量{\tilde C_t}​，{\tilde C_t}​会被加入到状态中。结构如下图：

​

图6 输入门结构图 

        然后就到了更新旧细胞状态的时间了，将{C_{t - 1}}​更新为{C_t}​，把旧状态与{f_t}​相乘，丢弃确定需要丢弃的信息，再加上{i_t}*{\tilde C_t}​ ，这样就完成了细胞状态的更新，结构如下图所示：

​

 图7 更新旧细胞状态

        输出门负责决定当前时刻的单元状态有多少输出，通过一个sigmoid层来确定细胞状态的哪个部分将输出出去。把细胞状态通过tanh进行处理，得到一个-1到1之间的值，并将它和sigmoid门的输出相乘，最终仅仅输出确定输出的部分。结构如下图所示：

​

图8 输出门的结构

4、LSTM的训练过程

        LSTM的参数训练算法，依然是反向传播算法。主要有如下三个步骤：

        第一步：前向计算每个神经元的输出值。对于LSTM而言，依据前面介绍的算法，分别进行计算。

        第二步：确定优化目标函数。在训练早期，输出值和预期值会不一致，于是计算每个神经元的误差项值，构造出损失函数。

        第三步：根据损失函数的梯度指引，更新网络权值参数。与传统RNN类似，LSTM误差项的反向传播包括两个层面：一个是空间上层面的，将误差项向网络的上一层传播。另一个是时间层面上的，沿时间反向传播，即从当前t时刻开始，计算每个时刻的误差。

        然后跳转第一步，重复做第一、二和三步，直至网络误差小于给定值。

关注微信公众号【有梦想的程序星空】，了解软件系统和人工智能算法领域的前沿知识，让我们一起学习、一起进步吧！

长短时记忆网络LSTM原理与代码实例讲解
AI天才研究院
11-28 624
文章标题 长短时记忆网络（LSTM）原理与代码实例讲解 关键词：长短时记忆网络（LSTM）、循环神经网络（RNN）、序列建模、深度学习、时间序列分析、自然语言处理、计算机视觉 摘要
LSTM 网络在强化学习中的应用
AI天才研究院
04-05 1595
强化学习是机器学习的一个重要分支,它通过在不确定环境中通过试错来学习最优决策策略。近年来,随着深度学习技术的发展,将深度神经网络与强化学习相结合,形成了深度强化学习,取得了一系列突破性进展。其中,长短期记忆(LSTM)网络作为一种特殊的循环神经网络,因其在处理序列数据和时间依赖关系方面的优势,在深度强化学习中发挥了关键作用。本文将深入探讨LSTM网络在强化学习中的应用,包括核心概念、算法原理、实践案例以及未来发展趋势。希望能为从事强化学习研究与应用的读者提供有价值的技术见解。
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一个cell 单元组成的基础LSTM 网络。
长短时记忆网络(Long Short Term Memory，LSTM)详解
weixin_60737527的博客
10-01 1万+
长短时记忆网络(LSTM)基本原理与基于Pytorch的实现方法。
深入理解 LSTM 网络：原理、代码与应用
最新发布
2201_75491841的博客
05-25 1527
LSTM 网络通过独特的门控机制，成功克服了传统 RNN 的局限性，在处理长序列数据时展现出强大的能力，在众多领域都有着重要的应用价值。数据预处理：确保输入数据的格式符合 LSTM 的要求，对数据进行合适的归一化等预处理操作，以提高模型的训练效果。模型调参：尝试调整 LSTM 的层数、神经元数量、学习率、训练轮数等超参数，通过交叉验证等方法找到最优的模型配置。结合其他技术：可以将 LSTM 与其他深度学习技术（如注意力机制）结合使用，进一步提升模型的性能。
深入理解LSTM
weixin_37737254的博客
09-19 917
LSTMAuthor：louwillFrom：深度学习笔记原始结构的RNN还不够处理较为复杂的序列建模问题，它存在较为严重的梯度消失问题，最直观的现象就是随着网络层数增加，网络会逐渐变...
长短时记忆神经网络（LSTM）
Medlen
09-24 1万+
下面为翻译文章，会稍有增删： 原文：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 其他人的翻译：https://www.xiemingzhao.com/posts/eff2088e.html 类似的文章：https://www.jianshu.com/p/8219ca28925e 循环神经网络 人类不会每秒都从头开始思考。 阅读本文时，您会根据对先前单词的理解来理解每个单词。 您不会丢掉一切，重新从头开始思考。 传统的神经网络无法做到这一
长短时记忆神经网络LSTM
亦谷
01-29 2380
循环神经网络（Recurrent Neural Network，RNN）是一类专门用于处理时间序列性数据的神经网络，它的每一层网络在输出时不仅会输出到下一层，同时还会输出一个隐藏状态，用于在当前层处理下一个数据样本的时候使用。因此循环神经网络当前状态的方法为：???????? = ????(???????????? + ????????????−1)。但是由于存在梯度消失的原因，在时刻 t 产生的梯度仅仅能够在时间层上传播几层就会消失，从而使得循环神经网络无法捕捉到长距离的影响。 长短时记忆网络（Long
长短期记忆网络（Long Short-Term Memory networks, LSTM）
weixin_39910711的博客
06-05 2万+
如何简单的理解LSTM——其实没有那么复杂：
零基础入门：Python与PyTorch深度学习全攻略丨迁移学习、循环神经网络、长短时记忆网络、时间卷积网络、生成对抗网络、YOLO目标检测算法、自编码器等原理及其PyTorch编程实现
weixin_46747075的博客
08-26 1048
掌握深度学习的基础理论及其在PyTorch中的实现方法，理解和掌握深度学习的基础知识，深入了解其与经典机器学习算法的区别与联系，并系统学习包括迁移学习、循环神经网络（RNN）、长短时记忆网络（LSTM）、时间卷积网络（TCN）、生成对抗网络（GAN）、YOLO目标检测算法、自编码器等前沿技术的原理及其PyTorch编程实现。
自然语言处理系列六十三》神经网络算法》LSTM长短期记忆神经网络算法
weixin_52610848的博客
09-07 1948
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
长短时记忆神经网络（LSTM-2）型介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。（LSTM-2）型引入了Ct，Ct-1记忆对神经网络的影响，这个算法的预测效果要更好。
神经网络 原理与代码实例讲解
AI天才研究院
07-25 837
神经网络 原理与代码实例讲解 1. 背景介绍 1.1 问题的由来 在数据驱动的世界里，神经网络因其能够从复杂的数据模式中学习和提取特征的能力，成为了机器学习和人工智能领域的重要基石。神经网络的概念源自于对生物神经系统的模仿，旨在通过模仿大脑中神经元
LSTM（长短期记忆神经网络）
qq_74722169的博客
12-08 2万+
首先解释一下，经过这个sigmod激活函数后，得到的都是在0到1之间的数值，1表示该门完全打开，0表示该门完全关闭，其中是最为普通的输入，可以从上图中看到，是通过该时刻的输入和上一时刻存在memory cell里的隐藏层信息向量拼接，再与权重参数向量点积，得到的值经过激活函数tanh最终会得到一个数值，也就是，注意只有的激活函数是tanh，因为是真正作为输入的，其他三个都是门控装置。再来看，input gate的缩写i，所以也就是输入门的门控装置，同样也是通过该时刻的输入。
【机器学习】长短时记忆网络（LSTM）
weixin_42301220的博客
04-21 7963
文章目录1. 基本概念2. 长短时记忆网络的前向计算2.1 门2.2 遗忘门 1. 基本概念 长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 原始RNN无法处理长距离依赖，原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 长短时记忆网络在RNN的基础上再增加一个状态c，让它来保存长期的状态。 新增加的状态c，称为单元状态(cel
长短期记忆神经网络（LSTM）介绍
willhu2008的专栏
12-12 8393
即随着输入数据的不断增加，上述自我循环的结构把上一次的状态传递给当前输入，一起作为新的输入数据进行当前轮次的训练和学习，一直到输入或者训练结束，最终得到的输出即为最终的预测结果。原始的RNN在训练中，随着训练时间的加长以及网络层数的增多，很容易出现梯度爆炸或者梯度消失的问题，导致无法处理较长序列数据，从而无法获取长距离数据的信息。下图展示了应用上一个时刻的输出h_t-1和当前的数据输入x_t，通过输出门得到o_t的过程，以及结合当前细胞的单元状态C_t和o_t得到最终的输出h_t的过程。
简单理解LSTM神经网络
热门推荐
Kobe Bryant的专栏
08-01 8万+
递归神经网络 在传统神经网络中，模型不会关注上一时刻的处理会有什么信息可以用于下一时刻，每一次都只会关注当前时刻的处理。举个例子来说，我们想对一部影片中每一刻出现的事件进行分类，如果我们知道电影前面的事件信息，那么对当前时刻事件的分类就会非常容易。实际上，传统神经网络没有记忆功能，所以它对每一刻出现的事件进行分类时不会用到影片已经出现的信息，那么有什么方法可以让神经网络能够记住这些信息呢？答案就是
LSTM神经网络介绍
weixin_42973814的博客
05-07 1万+
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录引言一、介绍1.1什么是LSTM?1.2基础知识1.2.1门控机制1.2.2 相关激活函数1.2.3网络参数介绍二、LSTM网络架构2.1架构图三、LSTM的门3.1遗忘门3.2输入门3.3输出门四、LSTM的简单实例参考 引言 传统的神经网络在处理与事件发生的时间轴有关系的问题时，如果需要联系并考虑上下文的时候就无能为力了，比如语音识别，机器翻译，时间序列等，因为他们的输出只是由当前的输入决定。所以就提出了RNN，了解RNN基.
神经网络之lstm
零度°C的博客
08-11 3万+
长短期记忆网络（Long Short-Term Memory, LSTM）是一种特殊类型的循环神经网络（RNN），由 Hochreiter 和 Schmidhuber 于 1997 年提出。LSTM 旨在解决传统 RNN 在处理长序列数据时遇到的梯度消失或梯度爆炸问题。LSTM 网络的核心是三个门的机制：遗忘门（forget gate）、输入门（input gate）、输出门（output gate）。这些门通过自适应的方式控制信息的流动，从而实现对长期依赖信息的捕捉。
lstm单元结构图
05-04
### LSTM 单元结构图及其解释 LSTM（Long Short-Term Memory）是一种特殊的RNN架构，能够通过门控机制解决长期依赖问题。以下是关于LSTM单元结构图的详细说明以及其工作流程。 #### 1. LSTM 的基本组成 LSTM的核心在于它的细胞状态 \(C_t\) 和三个主要的门控机制：遗忘门、输入门和输出门。这些组件共同决定了信息如何流入、保留或流出神经网络中的每个时间步[^1]。 #### 2. 遗忘门 (Forget Gate) 遗忘门决定哪些信息应该被丢弃或者忘记。它接收当前时刻的输入 \(x_t\) 和前一时刻隐藏状态 \(h_{t-1}\)，并通过一个sigmoid层计算出一个介于0到1之间的值向量。如果某个位置上的值接近0，则表示该位置的信息应完全忽略；反之则需部分保存。 \[ f_t = \sigma(W_f[h_{t-1}, x_t]+b_f) \] #### 3. 输入门 (Input Gate) 此阶段分为两部分操作： - **更新候选值**：利用tanh激活函数生成一个新的潜在添加项\(\tilde{C}_t\)； - **控制权重分配**：同样借助sigmoid层来评估哪一部分新数据值得采纳进入记忆体中去替代旧有内容。 最终得到的结果将会作为下一步调整整体Cell State的重要依据之一。 \[ i_t = \sigma(W_i[h_{t-1}, x_t]+b_i), \quad \tilde{C}_t=tanh(W_C[h_{t-1}, x_t]+b_c)\] #### 4. 更新细胞状态(Cell State Update) 基于前面两个步骤产生的信号，现在可以正式修改实际存储的数据了——即所谓的“长短期记忆”。具体做法是先按比例减少原有记录(乘以f_t)，再加入经过筛选的新元素(i_ti * C~_t )完成整个过程。 \[ C_t=f_tC_{t−1}+i_t\tilde{C}_t \] #### 5. 输出门(Output Gate) 最后一步涉及确定本周期结束后的出口表现形式\(o_t\) ，这依旧依靠Sigmoid判定强度大小，并配合Tanh转换过的最新版Cell Content形成最终版本Hidden Representation供后续调用。 \[ o_t=\sigma(W_o[h_{t-1}, x_t ]+ b_o ), h_t=o_ttanh(C_t)] ```python import numpy as np def lstm_cell(x, h_prev, c_prev, W_f, W_i, W_c, W_o, U_f, U_i, U_c, U_o, b_f, b_i, b_c, b_o): forget_gate = sigmoid(np.dot(W_f, x) + np.dot(U_f, h_prev) + b_f) input_gate = sigmoid(np.dot(W_i, x) + np.dot(U_i, h_prev) + b_i) cell_candidate = tanh(np.dot(W_c, x) + np.dot(U_c, h_prev) + b_c) c_next = forget_gate * c_prev + input_gate * cell_candidate output_gate = sigmoid(np.dot(W_o, x) + np.dot(U_o, h_prev) + b_o) h_next = output_gate * tanh(c_next) return h_next, c_next ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有梦想的程序星空

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值