现代循环神经网络之LSTM

原创 已于 2022-10-02 16:54:56 修改 · 469 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rnn #lstm #深度学习

于 2022-10-02 16:54:36 首次发布
本文介绍了长短期记忆网络LSTM的基本概念及其内部工作原理。重点讲解了LSTM中的三个关键组成部分：遗忘门、输入门及输出门的作用，并详细解释了它们如何控制信息的输入、输出及遗忘过程。

长短期记忆网络LSTM

在这里插入图片描述
在这里插入图片描述
LSTM中所包含的三个门：ftf_tft​、iti_tit​、oto_tot​，
ftf_tft​：遗忘门，控制保留了多少旧记忆单元Ct−1C_{t-1}Ct−1​的内容。
iti_tit​：输入门，控制采用多少来自CtC_tCt​的新数据。
Ct=Ct−1⊙ft+gt⊙itC_t =C_{t-1}\odot f_t + g_t\odot i_tCt​=Ct−1​⊙ft​+gt​⊙it​，通过该机制来控制输入和遗忘，也就是“存储单元”。
oto_tot​：输出门：控制t时刻状态所少用于输出。

15现代循环神经网络—GRU与LSTM
kaszxc的博客
07-22 540
GRU 中引入了两个额外的门，每个门可以学习的参数和 RNN 一样多，整个可学习的权重数量是 RNN 的三倍Rt 和 Zt 都是控制单元，用来输出取值为 0~1 的数值Rt 用来衡量在更新新的隐藏状态的时候，要用到多少过去隐藏状态的信息Zt 用来衡量在更新新的隐藏状态的时候，需要用到多少当前Xt相关的信息当 Zt 全为 0 , Rt 全为 1 时,等价于 RNN当 Zt 全为 1 时,直接忽略掉当前 XtGRU 通过引入 Rt 和 Zt ,从而能够在各种极端情况之间进行调整。
NLP04：LSTM原理详解及文本生成
大雄没有叮当猫的博客
09-03 2077
公众号：数据挖掘与机器学习笔记 1.长短期记忆 LSTM 中引入了3个门，即输入门（input gate）、遗忘门（forget gate）和输出门（output gate），以及与隐藏状态形状相同的记忆细胞（某些文献把记忆细胞当成一种特殊的隐藏状态），从而记录额外的信息。 1.1. 输入门、遗忘门和输出门 与门控循环单元中的重置门和更新门一样，如图所示，长短期记忆的门的输入均为当前时间步输入 XtX_tXt​ 与上一时间步隐藏状态 Ht−1H_{t−1}Ht−1​ ，输出由激活函数为sigmoid函数的全
【深度学习笔记】6_8 长短期记忆（LSTM）
RIKI_1
03-09 2053
在初始化函数中，长短期记忆的隐藏状态需要返回额外的形状为(批量大小, 隐藏单元个数)的值为0的记忆细胞。下面根据长短期记忆的计算表达式定义模型。需要注意的是，只有隐藏状态会传递到输出层，而记忆细胞不参与输出层的计算。
LSTM 详解
qq_40231344的博客
06-24 4174
计算过程： LSTM是RNN的一格变体，LSTM的结构是由三个门组成，遗忘门，输入门，输出门。“门”的结构是由sigmoid神经网络和一个按位作乘法的操作。之所以称为门，是因为经过sigmoid激活函数，全神经网络会输出（0,1）之间的值，代表遗忘或输入的信息量。 遗忘门：会根据当前输入xt和上一时刻隐藏层的状态ht-1，通过激活函数sigmoid,决定哪些信息将会被遗忘，经过遗忘门得到的ft是一个n维向量，每个维度上的值都在（0,1）之间，再与上一时刻状态ct-1相乘，得到结果在哪个维度上的值...
LSTM公式详解&推导
zorchp
06-25 2万+
《Surpervised Sequence Labelling with Recurrent Neural Network》（用循环神经网络进行序列标记）RNN经典教材中LSTM部分的理论推导（正反向传播），加上自己的一点理解。
LSTM的三个门
重剑无锋博客
04-08 1万+
忘记门： 作用对象：细胞状态 作用：将细胞状态中的信息选择性的遗忘 让我们回到语言模型的例子中来基于已经看到的预测下一个词。在这个问题中，细胞状态可能包含当前主语的类别，因此正确的代词可以被选择出来。当我们看到新的主语，我们希望忘记旧的主语。 例如，他今天有事，所以我。。。当处理到‘’我‘’的时候选择性的忘记前面的’他’，或者说减小这个词对后面词的作用。 输入层门： 作用对象：细胞状态 作用：将新的信息选择性的记录到细胞状态中 在我们语言模型的例子中，我们希望增加新的主语的类别到细胞状态中，...
LSTM的三个门一个状态图解
m0_73084262的博客
05-05 2524
1.遗忘门 2.输入门 3.new value 4.输出门
基于LSTM循环神经网络的故障时间序列预测_王鑫1
08-03
【基于LSTM循环神经网络的故障时间序列预测】 在现代科技领域，特别是航空航天和工业设备中，系统的可靠性和安全性至关重要。有效地预测系统在使用阶段可能出现的故障数据是制定可靠性和维护策略的基础。传统的故障...
神经网络之lstm
热门推荐
零度°C的博客
08-11 3万+
长短期记忆网络（Long Short-Term Memory, LSTM）是一种特殊类型的循环神经网络（RNN），由 Hochreiter 和 Schmidhuber 于 1997 年提出。LSTM 旨在解决传统 RNN 在处理长序列数据时遇到的梯度消失或梯度爆炸问题。LSTM 网络的核心是三个门的机制：遗忘门（forget gate）、输入门（input gate）、输出门（output gate）。这些门通过自适应的方式控制信息的流动，从而实现对长期依赖信息的捕捉。
LSTM-example_深度的LSTM_深度神经网络_lstm神经网络_LSTM.zip
10-10
标题中的“LSTM-example_深度的LSTM_深度神经网络_lstm神经网络_LSTM”提示了我们这个压缩包可能包含有关长短期记忆网络（LSTM）的示例代码、深度学习模型以及相关的神经网络理论。LSTM是递归神经网络（RNN）的一种...
基于LSTM循环神经网络电火花小孔加工工艺目标性能预测.pdf
09-25
描述中提到的“现代制造工程”暗示了这项研究是针对制造领域的一个创新应用，而“LSTM循环神经网络”是深度学习领域中的一种特殊类型的神经网络，擅长处理时间序列数据和捕捉长期依赖性。此研究将LSTM应用于电火花...
了解LSTM
Taizhuang_的博客
12-17 1382
首先我们知道了RNN呢对于序列是不是不能解决长依赖问题啊，因此啊在LSTM我们做了改进，我们引入了门和细胞状态C
LSTM结构
Swift's Blog
07-22 1544
Overview 下面详细介绍LSTM的三个门： 遗忘门 遗忘门决定了上一时刻的单元状态 ct−1c_{t-1}ct−1​ 有多少保留到当前时刻 ctc_tct​ 。 公式如下： ft=σ(Wf⋅[ht−1,xt]+bf) f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) ft​=σ(Wf​⋅[ht−1​,xt​]+bf​) 输入门 输入门决定了当前时刻网络的输入 xtx_txt​ 有多少保存到单元状态 ctc_tct​ 。 公式如下： it=σ(Wi⋅[ht−
AI作业12-LSTM
weixin_54700599的博客
06-06 519
重置门根据当前时间步的输入和前一个时间步的隐藏状态，决定在当前时刻需要遗忘多少旧的记忆和忽略前一个时刻的隐藏状态。它通过将输入数据和前一个时刻的隐藏状态进行加权求和，并经过一个Sigmoid激活函数，输出一个0到1之间的值，表示需要遗忘多少旧的记忆。更新门根据当前时间步的输入和前一个时间步的隐藏状态，决定在当前时刻需要保留多少旧的记忆和旧的隐藏状态。重置门的作用是根据当前输入和历史上下文信息选择性地遗忘旧的记忆和忽略前一个时刻的隐藏状态，从而在后续的时间步中产生新的隐藏状态。
LSTM三个门控机制详解
最新发布
感谢所有乐于奉献的人，在此不一一具名
05-26 2331
LSTM三个门控机制详解
LSTM详解
qq_40922271的博客
10-25 1万+
LSTM详解 文章目录LSTM详解改进记忆单元门控机制LSTM结构LSTM的计算过程遗忘门输入门更新记忆单元输出门通过LSTM循环单元，整个网络可以建立较长距离的时序依赖关系，以上公式可以简洁地描述为 $$ \begin{bmatrix} \tilde{c}_t \\ o_t \\ i_t \\ f_t \end{bmatrix}LSTM单元的pytorch实现Pytorch中的LSTM参数输入输出参考与摘录 LSTM是RNN的一种变种，可以有效地解决RNN的梯度爆炸或者消失问题。 LSTM的改进在于增加了
LSTM理论知识讲解
上帝是个娘们的博客
04-09 8418
结构 1. RNN与LSTM的对比 RNN: LSTM: 其中的notation： 这里要注意：上图中四个黄框，每一个都是普通的神经网络，激活函数就是框上面所标注的。 通过对比可以看出，RNN的一个cell中只有一个神经网络，而LSTM的一个cell中有4个神经网络，故一个LSTM cell的参数是一个RNN cell参数的四倍。 从上图也可以看出，原来的一个RNN cell只需要存储一个...
LSTM、GRU
dl674756321的博客
08-09 1898
LSTM 理解：传统的神经网络无法预测接下来的信息，而 循环神经网络（RNN） 可以解决序列数据前后关联的问题。它的主要用途是处理和预测序列数据，在网络结构上，循环神经网络会记忆之前的信息，并利用之前的信息影响后面结点的输出。 LSTM：长短期记忆网络。比方说“某地开设大量工厂，空气污染十分严重……天空都变成了灰色”，如果我们的模型要试着预测这句话的最后一个词“灰色”时，仅仅根据短期依赖无法完成，因为如果不看上文“空气污染十分严重”我们是无法知道天空是“蓝色”还是“灰色”。因此，当前预测位置和相关信息之间的
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值