自然语言处理之长短时记忆网络(六)

最新推荐文章于 2024-08-13 00:39:47 发布
最新推荐文章于 2024-08-13 00:39:47 发布
阅读量760 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/guangzhanblog/article/details/110679927
本文深入介绍了长短期记忆网络（LSTM）的概念与结构特点，详细解释了其独特的门控机制如何帮助解决长期依赖问题，包括遗忘门、输入门及状态更新过程。此外还探讨了几种LSTM的变种。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 情感倾向性分析

长短时记忆网络的基本概念

长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的，所有的RNN都具有一种重复神经网络模块的链式形式。

  • LSTM网络结构
  • LSTM的门控机制
  • LSTM的变种

2 LSTM网络结构

2.1 LSTM网络结构及其特点

  • 基于RNN结构设计，从左到有依次阅读整个句子，并不断更新记忆。
  • LSTM在不同cell之间传递的是2个记忆信息，而不像循环神经网络一样只有一个记忆信息。
    在这里插入图片描述

2.2 LSTM内部结构

  • 区别于循环循环神经网络，LSTM最大的特点是，在更新内部记忆的时候，引入了遗忘机制，那就是：允许网络忘记一些过去阅读过程中看到的一些无关紧要的内容，只保留有用的历史内容，通过这种方式，延长了记忆长度。
    在这里插入图片描述

3 LSTM门控机制

3.1 LSTM的关键：细胞状态

  • 细胞状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互。信息在上面保持不变会很容易实现。
    在这里插入图片描述
  • LSTM通过“门控机制”让信息选择性通过，来去除或者增加信息到细胞状态
  • 包含一个sigmoid神经网络层和一个piontwise乘法操作。
  • Sigmiod层输出0到1之间的概率值，描述每个部分有多少量可以通过。
    在这里插入图片描述

3.2 遗忘门

  • 第一步：决定从“细胞状态”中丢弃什么信息
    在这里插入图片描述

3.2 输入门

  • 第二步：决定放什么信息到“细胞状态中”
    在这里插入图片描述

3.3 更新状态

  • 第三步：更新细胞状态
    在这里插入图片描述

4 LSTM变种

4.1 变种1

  • 增加窥视孔链接（peephole connection）
  • 让门层也会接受细胞状态的输入
    在这里插入图片描述

4.2 变种2

  • 通过使用coupled忘记和输入门
  • 之前是分开确定需要忘记和添加的信息，这里是一同作出决定。
    在这里插入图片描述

4.3 变种3:GRU

  • GRU有两个门，分别为更新门和重置门，即图中的zr和rt更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越少，重置门用于控制忽略前一时刻的信息的程度，重置门的值越小说明忽略的越多。
    在这里插入图片描述
长短时记忆网络(LSTM)
猫敷雪
11-06 1682
往期回顾 在上一篇文章中，我们介绍了循环神经网络以及它的训练算法。我们也介绍了循环神经网络很难训练的原因，这导致了它在实际应用中，很难处理长距离的依赖。在本文中，我们将介绍一种改进之后的循环神经网络：长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中...
LSTM长短时记忆网络
AI天才研究院
09-02 1759
作者：禅与计算机程序设计艺术 1.简介 “LSTM（Long Short-Term Memory）长短时记忆网络”是一种非常先进、高效、强大的神经网络结构，可以用于处理序列数据，如文本、音频、视频等。相比传统的神经网络模型，LSTM可以记住时间上的先后顺序，从而更好地捕捉到信息的时间关联性。在自然语言处
长短时记忆网络（LSTM）
qq_41931866的博客
07-16 2548
长短时记忆网络LSTM简介新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简介 你好！ 这是你第一次使用 M辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown
长短时记忆网络（Long-Short Term Memory）
qq_42578970的博客
01-22 592
LSTM时RNN的变种，用于处理预测这个神经元的信息的辅助信息相距太远的情况，例如： I'm a student and I need to __ 预测这个空，student就是辅助信息，很容易找到，但对于下面这句话 I grow up in France...,so I can speak fluent __ 假设中间的省略部分特别长，且与他的语言学习无关，那么France就是辅助信息，但相隔太远，传统的RNN就难以得出正确结果。 基本实现思路 传统的隐藏层节点只有一个状态：H，而LSTM多了
零基础入门深度学习(6) - 长短时记忆网络(LSTM)1
08-03
【长短时记忆网络(LSTM)】是深度学习中一种特殊的循环神经网络（RNN）变体，设计用于解决传统RNN在处理长序列数据时遇到的梯度消失和梯度爆炸问题。LSTM通过引入“门”机制，使得网络能够有效地记住长期依赖信息，...
长短时记忆神经网络（LSTM）介绍及公式推导
07-08
长短时记忆网络(Long Short Term Memory Network, LSTM)，它有效地解决了原始循环神经网络(RNN)的缺陷，在语音识别、图片描述、自然语言处理等许多领域中成功应用。本文讲解由三个Gate（input、forget、output）和一...
基于双向长短时记忆网络的中文命名实体识别源码
12-02
基于双向长短时记忆网络的中文命名实体识别源码是自然语言处理领域的宝贵资源。它不仅展现了深度学习在NLP中的强大能力，也提供了实用的工具来支持各种语言信息处理应用的开发。随着技术的不断进步和优化，未来NER...
长短时记忆网络LSTM原理与代码实例讲解
AI天才研究院
08-13 1263
在机器学习领域，序列数据是一种常见的数据类型，例如文本、语音、时间序列等等。序列数据中的每个元素都与其前后的元素相关联，这种依赖关系需要被模型捕捉到才能进行有效的预测。不同序列的长度可能不同，这使得传统的机器学习模型难以处理。序列数据中某些重要的信息可能相隔很远，传统的机器学习模型难以捕捉到这种长期依赖关系。研究人员正在不断探索更强大的 LSTM 变体，例如双向 LSTM、卷积 LSTM 等等。LSTM 可以与其他深度学习模型结合，例如卷积神经网络、注意力机制等等，以构建更强大的模型。
长短时记忆神经网络（LSTM）
Medlen
09-24 1万+
下面为翻译文章，会稍有增删： 原文：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 其他人的翻译：https://www.xiemingzhao.com/posts/eff2088e.html 类似的文章：https://www.jianshu.com/p/8219ca28925e 循环神经网络 人类不会每秒都从头开始思考。 阅读本文时，您会根据对先前单词的理解来理解每个单词。 您不会丢掉一切，重新从头开始思考。 传统的神经网络无法做到这一
【机器学习】长短时记忆网络（LSTM）
weixin_42301220的博客
04-21 7970
文章目录1. 基本概念2. 长短时记忆网络的前向计算2.1 门2.2 遗忘门 1. 基本概念 长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 原始RNN无法处理长距离依赖，原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。 长短时记忆网络在RNN的基础上再增加一个状态c，让它来保存长期的状态。 新增加的状态c，称为单元状态(cel
NLP学习笔记（四）：长短时记忆网络
u011426236的博客
04-08 589
长短时记忆网络（Long Short Term Memory (LSTM)） LSTM 模型 LSTM模型是RNN 模型的改进，可以避免梯度消失的问题，有更长的记忆。 LSTM也是一种循环神经网络，每当读取一个输入x就会更新状态h。LSTM的结构比简单RNN要复杂很多，简单RNN只有一个参数矩阵，LSTM有四个参数矩阵。下面我们具体来看LSTM的内部结构。 LSTM最重要的设计是传输带，记为向量CCC，过去的信息通过传送带直接送到下一个时刻，不会发生太大的变化，LSTM就是靠传输带来避免梯度消失的问题。
长短时记忆网络(LSTM)(超详细 |附训练代码)
热门推荐
qq_73462282的博客
08-02 12万+
那么，从这个时刻开始再往之前走，得到的梯度（几乎为零）就不会对最终的梯度值有任何贡献，这就相当于无论t-3时刻之前的网络状态h是什么，在训练中都不会对权重数组W的更新产生影响，也就是网络事实上已经忽略了t-3时刻之前的状态。由于遗忘门的控制，它可以保存很久很久之前的信息，由于输入门的控制，它又可以避免当前无关紧要的内容进入记忆。LSTM的前向计算都这么复杂，那么，可想而知，它的训练算法一定是非常非常复杂的。从上面的代码我们可以看到，门的计算都是相同的算法，而门和的计算仅仅是激活函数不同。
长短时记忆网络LSTM
qq_45738095的博客
05-24 1777
长序列依赖问题：在传统的循环神经网络（RNN）中，随着序列长度的增加，梯度在反向传播过程中可能会变得非常小（梯度消失）或非常大（梯度爆炸），导致模型难以学习到长距离的依赖关系。请注意，这只是一个简化的例子，实际的股票市场预测会更加复杂，并需要考虑更多的因素。以下是使用Python和Keras库构建一个简单的LSTM模型的例子，这个模型将用于文本分类任务，即根据输入的文本将文本分类到不同的类别中。在创作诗歌、故事或新闻文章时，LSTM可以根据给定的文本序列生成新的文本内容，模仿特定作者的风格或创造新的内容。
深度学习之长短时记忆网络(LSTM)
superY_26的博客
05-11 2495
本文转自《零基础入门深度学习》系列文章,阅读原文请移步这里 之前我们介绍了循环神经网络以及它的训练算法。我们也介绍了循环神经网络很难训练的原因，这导致了它在实际应用中，很难处理长距离的依赖。在本文中，我们将介绍一种改进之后的循环神经网络：长短时记忆网络(Long Short Term Memory Network, LSTM)，它成功的解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。但不幸的一面是，LSTM的结构很复杂，因此，我们需要花上一些力气
长短时记忆网络和DDPG
最新发布
02-02
### 长短时记忆网络 (LSTM) 原理 长短时记忆网络是一种特殊的循环神经网络(RNN)，旨在解决传统RNN中存在的长期依赖问题。LSTM通过引入门控单元——输入门、遗忘门和输出门，有效地控制信息流，从而允许模型记住长时间序列中的重要信息[^1]。 #### LSTM结构特点 - **细胞状态**：作为贯穿整个链的信息高速公路，几乎不会被改变。 - **三个门**：分别决定哪些信息会被更新到细胞状态中（输入门），哪些会从细胞状态丢弃（遗忘门），以及最终输出什么值给下一个时间步（输出门）。 ```python import tensorflow as tf from tensorflow.keras.layers import LSTMCell lstm_layer = LSTMCell(units=64) output, state = lstm_layer(inputs, states=[previous_state_c, previous_state_h]) ``` ### 深度确定性策略梯度 (DDPG) 原理 深度确定性策略梯度属于一类连续动作空间下的强化学习算法，它结合了价值函数估计与直接策略搜索的优点。DDPG采用两个主要组件：一个是用来评估当前行动的好坏的价值网络(Q-network);另一个是用来生成具体行为的策略网络(policy network)。 #### DDPG工作方式 - 使用经验回放(experience replay)机制提高样本利用率； - 利用软更新(target networks)平滑参数变化，增强稳定性； - 对于每一步骤，计算损失并反向传播调整权重； ```python class Actor(tf.keras.Model): def __init__(self, action_dim): super().__init__() self.fc1 = Dense(400, activation='relu') self.fc2 = Dense(300, activation='relu') self.out = Dense(action_dim, activation='tanh') actor_model = Actor(action_dim=env.action_space.shape[0]) @tf.function def train_step(states, actions, rewards, next_states, dones): with tf.GradientTape() as tape: target_actions = actor_target(next_states) y_i = rewards + gamma * critic_target([next_states, target_actions]) * (1-dones) q_value = critic_model([states, actions]) loss_fn = tf.losses.MeanSquaredError() critic_loss = loss_fn(y_i, q_value) gradients = tape.gradient(critic_loss, critic_model.trainable_variables) optimizer.apply_gradients(zip(gradients, critic_model.trainable_variables)) # 更新Actor Network... ``` ### 关系及区别 两者虽然都应用于机器学习领域，但在设计目的和技术细节上存在显著差异： - **适用场景不同**：LSTM主要用于处理具有时间顺序特性的数据集，如自然语言处理、语音识别等领域;而DDPG则专注于解决带有连续动作空间的任务，在机器人运动规划等方面表现出色. - **内部架构各异**：前者基于递归连接模式并通过特殊设计的记忆模块克服梯度消失/爆炸难题；后者则是由两部分组成—即评价型Q网路和决策制定者policy netwrok. ### 应用场景对比 对于需要建模随时间演变规律的问题，比如股票价格预测或是天气预报,LSTM可能是更好的选择因为它擅长捕捉历史趋势。然而当面临涉及物理交互或动态环境互动的情况时，则更倾向于选用像DDPG这样的方法来进行高效探索与试错学习过程.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值