LSTM：循环单元结构

最新推荐文章于 2025-04-17 21:52:01 发布
最新推荐文章于 2025-04-17 21:52:01 发布
阅读量541 收藏
点赞数
分类专栏： 深度学习 文章标签： lstm 深度学习 神经网络
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/Lollipop_Tang/article/details/119868248
版权

lstm
在这里插入图片描述
在这里插入图片描述
在 LSTM 网络中，记忆单元 𝒄 可以在某个时刻捕捉到某个关键信息，并有能力将此关键信息保存一定的时间间隔．记忆单元 𝒄 中保存信息的生命周期要长于短期记忆 𝒉，但又远远短于长期记忆，因此称为长短期记忆.

在这里插入图片描述

自然语言处理之命名实体识别：Bi-LSTM：循环神经网络RNN原理与应用
zhubeibei168的博客
04-17 948
命名实体识别（Named Entity Recognition，简称NER）是自然语言处理（NLP）领域的一个重要任务，旨在从文本中识别并分类出具有特定意义的实体，如人名、地名、组织机构名、时间、货币等。NER的重要性在于它为机器理解文本提供了关键信息，是信息抽取、问答系统、机器翻译等高级NLP应用的基础。
使用PyTorch实现LSTM：从零构建时间序列预测模型
sybh的博客
10-19 581
LSTM的核心是其独特的单元结构，通过三个门控机制（输入门、遗忘门和输出门）来控制信息的流动。这使得LSTM能够在长时间跨度上保持信息，解决了传统RNN在处理长序列时出现的梯度消失和梯度爆炸问题。输入门：决定哪些信息被写入单元状态。遗忘门：决定哪些信息将被丢弃。输出门：决定当前单元的输出。选择合适的损失函数和优化器是模型训练的关键步骤。这里我们选择均方误差（MSE）作为损失函数，Adam作为优化器。criterion = nn.MSELoss() # 损失函数。
长短时期记忆（LSTM）及门控循环单元（GRU）网络结构
qq_40334856的博客
03-22 4717
一、背景 1、RNN自身可以通过不停的将信息循环操作，保证信息持续存在，从而可以利用前面得事件信息来对后面得事件进行分类操作。 2、RNN处理这类任务时不一定就可以完全得理解之前的记忆，因为在语句过长得情况下，之前的文本内容在传到后期时已经不再具有那么的信息。 （1）在‘the clouds are in the sky’中，如果最后进行预测，则我们可以大概率的将sky进行预测出来。 （2）若在一...
LSTM 循环神经网络原理深度解读与网络结构精细剖析
JINGWHALE
04-15 2229
LSTM是一种巧妙应对RNN固有挑战的架构创新，它并未直接对RNN的权重矩阵进行特征值调整以解决梯度消失/爆炸问题，而是通过引入参数化的门控单元以及细胞状态这一特殊结构，构建了一条非权重依赖的线性信息传播路径，从而绕开了传统RNN中导致长期依赖学习困难的权重参数W。
神经网络与深度学习（七）循环神经网络（3）LSTM的记忆能力实验
m0_63172447的博客
12-03 455
长短期记忆网络（Long Short-Term Memory Network，LSTM）是一种可以有效缓解长程依赖问题的循环神经网络．LSTM 的特点是引入了一个新的内部状态（Internal State）和门控机制（Gating Mechanism）．不同时刻的内部状态以近似线性的方式进行传递，从而缓解梯度消失或梯度爆炸问题．同时门控机制进行信息筛选，可以有效地增加记忆能力．例如，输入门可以让网络忽略无关紧要的输入信息，遗忘门可以使得网络保留有用的历史信息．在上一节的数字求和任务中，如果模型能够记住前两个
序列模型 门控循环单元（GRU）长短期记忆网络（LSTM）深度循环网络
m0_57980297的博客
01-21 1061
一 序列模型 二 门控循环单元 三 长短期记忆网络（LSTM） 四 深度循环网络 五 双向循环神经网络
LSTM结构
zzk0126的博客
08-31 1904
在前面讲的【Deep learning】循环神经网络RNN中，我们对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。下面我们就对LSTM模型做一个总结。
Social LSTM：Human Trajectory Prediction in Crowded Spaces | 文献翻译
天問*的后花园
01-18 1251
行人遵循不同轨迹以避免障碍物和容纳同行者。任何在这种场景中巡航的自动驾驶车辆都需要能够遇见行人的未来位置并相应地调整其路线以避免碰撞。轨迹预测问题能够被看作一个顺序生成任务，其中我们对基于行人过去的位置预测其未来的轨迹感兴趣。根据最近RNN（循环神经网络）模型对顺序预测任务的成功，我们提出一个能够学习一般人类运动并预测其未来轨迹的LSTM（长短期记忆网络）模型。这与人工定义函数的传统方法（如社会力模型函数）形成对比。我们在几个公共数据集上证明了我们方法的性能，其中我们的模型在一些数据集优于目前最先进的方法。
自然语言处理之命名实体识别：Bi-LSTM：双向循环神经网络Bi-RNN理论
最新发布
zhubeibei168的博客
04-17 893
序列标注是NLP中的一个基本任务，其目标是对序列中的每个元素进行分类。在命名实体识别中，序列标注任务通常涉及将文本中的每个单词标记为特定的实体类型或非实体。这通常通过使用标注集来完成，如“B-PER”表示实体的开始是人名，“I-PER”表示人名实体的内部单词，“O”表示非实体单词。序列标注任务可以通过多种方法解决，包括基于规则的方法、统计方法和深度学习方法。
tcc-lstm:TCC LSTM Python项目
04-03
LSTM通过引入“门”机制（输入门、遗忘门和输出门）来控制单元状态的信息流动，从而有效地保留和遗忘序列中的信息。这使得LSTM在诸如自然语言处理、语音识别、时间序列预测等领域表现出色。 **时间不变特征组合...
【Pytorch神经网络理论篇】 18 循环神经网络结构：LSTM结构+双向RNN结构
小李的研究生学习日记
03-16 4551
1 深层循环神经网络的构建 在深层网络结构中，会将简单的RNN模型从两个角度进行改造，具体如下。 使用更复杂的结构作为RNN模型的基本单元，使其在单层网络上提取更好的记忆特征。 将多个基本单元结合起来，组成不同的结构（多层RNN、双向RNN等）。有时还会配合全连接网络、卷积网络等多种模型结构，一起组成拟合能力更强的网络模型。其中，RNN模型的基本单元称为Cell，它是整个RNN的基础。 2 常见的cell结构：LSTM 长短记忆(Long Short Term Memory，LSTM)单元是一种使用
循环结构的一点心得
hzcx777的博客
12-09 1667
目前认识到的C，主要是通过for、while和do-while三种语句来进行循环语句的。 循环结构主要分为两种:①当型循环结构：根据条件判断是否执行循环（for循环和while循环）；②直到型循环：先循环再判断是否执行循环，但至少会执行一次即（do-while循环）    一、for循环    for循环的基本表达式为：    for(初始化表达式;循环控制表达式;增值表达式)    {...
长短期记忆网络（LSTM）和门控循环单元（GRU）算法详解
极光喵的博客
03-07 3584
分别是更新门的权重矩阵和偏置。由于输入门、遗忘门和输出门都是由Sigmoid函数变换得到的，它们的取值范围在0和1之间，因此可以有效地控制信息的流动和梯度的传递。这两个门控单元可以学习在每个时间步如何调整输入信息和上一个时间步的隐藏状态信息的重要程度，某种程度上可以看作有选择性的记忆当前时刻的输入和上一时刻的隐藏状态。总结一下，LSTM（Long Short-Term Memory）网络可以优化梯度传播不稳定的问题，主要是因为它们的设计允许信息在多个时间步长上有效地流动，而不受梯度消失或爆炸的影响。
循环神经网络LSTM
Iawfy22的博客
07-26 433
循环神经网络LSTM学习笔记
【循环神经网络系列】二、LSTM
traveller的博客
11-06 457
LSTM
LSTM结构解析
LFZ的博客
04-13 883
LSTM结构解析
深度学习基础入门篇-序列模型[11]：循环神经网络 RNN、长短时记忆网络LSTM、门控循环单元GRU原理和应用详解
丨汀、的博客
05-24 4262
RNN会从左到右逐词阅读这个句子，并不断调用一个相同的RNN Cell来处理时序信息，每阅读一个单词，RNN首先将本时刻。
【深度学习】LSTM的架构及公式
Alexbyy的博客
01-22 7487
第一个门：决定我们要扔掉哪些信息（forget gate layer）ft=σ(Wf∗[ht−1,xt]+bf)f_t = \sigma(W_{f}*[h_{t-1},x_t] + b_f)ft​=σ(Wf​∗[ht−1​,xt​]+bf​) 第二个门：用来决定我们打算决定储存哪些新信息。it=σ(Wi∗[ht−1,xt]+bi)i_t = \sigma(W_i*[h_{t-1},x_t] + ...
理解 LSTM 结构与原理
ywm_up
08-10 1697
一、从 RNN 到 LSTM RNN 的结构我们已经非常熟悉了，如下图所示： RNN 是在时间上的一个循环，每次循环都会用到上一次计算的结果，虽然 RNN 每个时刻 t 都会有输出，但是最后时刻的输出实际上已经包含了之前所有时刻的信息，所以一般我们只保留最后一个时刻的输出就够了。 RNN 的优缺点： 优点：处理a sequence或者a timeseries of data points效果比普通的DNN要好。中间状态理论上维护了从开头到现在的所有信息； 缺点：不能处理 long sequence/ti
LSTM单元结构图
03-19
### LSTM单元结构及工作机制 #### 1. LSTM单元的结构组成 LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），通过引入门控机制来解决传统RNN存在的梯度消失和长期依赖问题。LSTM的核心组成部分是一个记忆细胞（cell state），以及三个主要的门控结构：输入门（input gate）、遗忘门（forget gate）和输出门（output gate）。这些组件共同协作，决定了信息如何流入、存储和流出LSTM单元。 - **记忆细胞（Cell State）**: 这是LSTM的关键部分，负责保存长时间的信息流。它允许某些信息在整个序列中持续流动而不被修改[^2]。 - **输入门（Input Gate）**: 控制当前时间步的新信息进入记忆细胞的程度。该门由一个sigmoid层决定哪些值需要更新，并通过tanh层生成候选向量作为新状态的一部分[^4]。 - **遗忘门（Forget Gate）**: 决定前一时刻的记忆细胞中有多少信息会被丢弃。这个过程也由一个sigmoid函数完成，返回介于0到1之间的数值表示保留比例[^3]。 - **输出门（Output Gate）**: 调节从记忆细胞传递至下一时间步的状态信息。此操作先利用另一个sigmoid层筛选有用的部分再乘以前面计算得到的结果经过激活后的版本形成最终输出。 #### 2. 工作机制详解 以下是LSTM在一个时间步内的具体运作流程： 1. 首先，遗忘门会基于上一时刻隐藏状态 \(h_{t-1}\) 和当前输入 \(x_t\) 来决定要忘记的内容。这一步骤通过 sigmoid 函数实现，产生的值范围在 [0,1] 中，其中接近0意味着完全忽略旧数据，而接近1则几乎全部保留。 2. 接下来，输入门处理新的潜在变化。一方面，使用 sigmoid 层评估应该加入什么；另一方面，则借助 tanh 创建一个新的候选项 \(\tilde{C}_t\)。 3. 结合上述两者的决策结果调整内部 cell 的内容——即把之前记住的东西按一定比例舍去后再添加适当的新鲜成分进去构成最新的 memory vector \(C_t\)。 4. 最终，在确定好最新版的 cell 后，还要进一步挑选出适合公开给外界看到的那一部分内容出来成为本阶段正式对外公布的 hidden state \(h_t\)。这一环节依旧离不开 output gate 的参与，因为它不仅再次运用一次 sigmod 判断哪一部分值得展现而且还会配合先前已经过活化处理过的整体状况一起考虑得出最后答案。 ```python import numpy as np def lstm_cell(input_x, h_prev, c_prev, W_f, W_i, W_c, W_o, U_f, U_i, U_c, U_o, b_f, b_i, b_c, b_o): forget_gate = sigmoid(np.dot(W_f, input_x) + np.dot(U_f, h_prev) + b_f) input_gate = sigmoid(np.dot(W_i, input_x) + np.dot(U_i, h_prev) + b_i) candidate_value = np.tanh(np.dot(W_c, input_x) + np.dot(U_c, h_prev) + b_c) c_next = forget_gate * c_prev + input_gate * candidate_value output_gate = sigmoid(np.dot(W_o, input_x) + np.dot(U_o, h_prev) + b_o) h_next = output_gate * np.tanh(c_next) return h_next, c_next ``` 以上代码片段展示了单个LSTM单元的时间步运算逻辑，其中包括各个门的操作细节以及如何更新hidden state和cell state。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值