【图解】LSTM模型教程 对比RNN

比较好的博客:LSTM模型结构讲解-优快云博客

1. 初识LSTM

我对LSTM的理解:

总结:一个短时记忆单元(RNN的隐藏层记忆单元)和一个长时记忆单元共同处理同一个数据得出输出结果

较详细解释:单看LSTM的输出层门,将输出ht改为输出ot将,sigmoid函数改成tanh函数便成了RNN网络单元。所以LSTM网络便是在RNN的基础上引入了记忆单元C,记忆单元在每个时间步进行一次遗忘门处理,一次记忆门处理,然后对RNN的输出再处理一遍,也就是说记忆单元C会对之前所有的信息都进行了记录然后对当下的RNN输出结果再共同处理一遍得到最终输出。简单说就是,一个短时记忆单元(RNN的隐藏层记忆单元)和一个长时记忆单元共同处理同一个数据得出输出结果。

2. 超详细拆解模型

LSTM一个时间步

对比一下RNN一个时间步

LSTM(Long Short-Term Memory)是一种常用的循环神经网络(Recurrent Neural Network,RNN)的变体,旨在解决传统RNN中的梯度消失和梯度爆炸问题,以及对长期依赖关系的建模能力不足的问题。 LSTM中引入了一个称为"记忆单元"(memory cell)的关键组件,它允许网络在长时间内保持和访问信息。下面是LSTM的基本结构和关键组件: 1. 输入门(Input Gate):决定是否将输入信息加入到记忆单元中。它通过对输入和前一时刻隐状态进行加权求和,并经过一个sigmoid函数输出一个0到1之间的值。 2. 遗忘门(Forget Gate):决定是否将前一时刻的记忆保留到当前时刻。它通过对前一时刻的记忆和当前输入进行加权求和,并经过一个sigmoid函数输出一个0到1之间的值。 3. 更新状态(Update State):根据输入门和遗忘门的输出,更新记忆单元的内容。这里使用了一个tanh函数来生成一个候选记忆单元的值。 4. 输出门(Output Gate):决定当前时刻的隐状态输出。它通过对当前记忆单元和当前输入进行加权求和,并经过一个sigmoid函数输出一个0到1之间的值。 5. 隐状态(Hidden State):根据输出门的输出和当前记忆单元的内容,计算当前时刻的隐状态。这里通过将当前记忆单元的值经过一个tanh函数得到一个新的候选隐状态,然后与输出门的输出相乘得到最终的隐状态。 这些门控制着信息的流动和记忆的更新,使得LSTM能够有效地学习长期依赖关系。通过在时间序列上重复使用LSTM单元,网络可以在不同时间步之间传递信息,并且保持对过去信息的记忆。 希望这个简单的图示和解释能够帮助你理解LSTM模型的原理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIScholar_lrm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值