PyTorch 中 LSTM 的 output、h_n 和 c_n 之间的关系

最新推荐文章于 2024-06-14 15:37:50 发布
原创 最新推荐文章于 2024-06-14 15:37:50 发布 · 9.8k 阅读 · 38 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

LSTM 简介

  • 官方文档：https://pytorch.org/docs/stable/generated/torch.nn.LSTM.html
  • h_n：最后一个时间步的输出，即 h_n = output[:, -1, :]（一般可以直接输入到后续的全连接层，在 Keras 中通过设置参数 return_sequences=False 获得）
  • c_n：最后一个时间步 LSTM cell 的状态（一般用不到）

实例

  • 实例：根据红框可以直观看出，h_n 是最后一个时间步的输出，即是 h_n = output[:, -1, :]，如何还是无法直观理解，直接看如下截图，对照代码可以非常容易看出它们的关系

  • 实例代码：

>>> import torch
>>> import torch.nn as nn
>>> rnn = nn.LSTM(input_size=2, hidden_size=3, batch_first=True)
>>> input = torch.randn(5,4,2)
>>> h0 = torch.randn(1, 5, 3)
>>> c0 = torch.randn(1, 5, 3)
>>> output, (hn, cn) = rnn(input, (h0, c0))
>>> output
tensor([[[-0.1046, -0.0316, -0.2261],
         [ 0.0702,  0.0756, -0.2856],
         [ 0.1146,  0.0666,
最低0.47元/天 解锁文章
LSTM&BiLSTM输出output与h_n的关系
目标：NLP算法工程师
02-23 1523
先说结论 结论 对于单向LSTM h_n = output[:,-1,:] 对于双向LSTM来说， output[:batch_size, -1, :hidden_szie*2/2] = h_n[0,:,:] #其中2表示bidirection方向为2 output[:batch_size, 0, hidden_szie*2/2:] = h_n[1,:,:] #其中2表示bidirection方向为2 output_size:[batch_size, sequence_lenght, hidden_sz
LSTM层输出中output和hidden
l_aiya的博客
08-18 1774
LSTM层输出中output和hidden
动手学PyTorch | (35) 长短期记忆(LSTM)
sdu_hao的博客
11-26 1206
本节将介绍另一种常⽤的⻔控循环神经网络:长短期记忆(long short-term memory，LSTM)。它⽐⻔控循环单元的结构稍微复杂一点。 目录 1. 长短期记忆 2. 读取数据集 3. 从0开始实验 4. 简洁实现 5. 小结 1. 长短期记忆 LSTM中引⼊了3个门，即输入门(input gate)、遗忘门(forget gate)和输出门(output gate)，...
LSTM输入输出各参数
tangweirensheng的博客
12-07 3915
torch.nn.LSTM(*args, kwargs)** 参数 – input_size – hidden_size – num_layers – bias – batch_first – dropout – bidirectional LSTM的输入 input, (h_0, c_0) – input (seq_len, batch, input_size) – h_0 (num_layers * num_directions, batch, hidden_size) # 初始的隐藏状态 – c_.
[Pytorch]pytorch中的LSTM模型
心有猛虎 细嗅蔷薇
03-03 2万+
公式表示 Pytorch中LSTM的公式表示为： 定义 Pytorch中LSTM的定义如下： class torch.nn.LSTM(*args, **kwargs) 参数列表 输入数据格式： input(seq_len, batch, input_size) h0(num_layers * num_directions, batch, hidden_size) c...
keras(return_sequences)和pytorch(output, (h_n, c_n))的记录
computerlov的博客
07-17 1934
近期需要将一份Keras代码转写为Pytorch，有关LSTM的东西比较麻烦，特此记录。 keras代码和介绍 pytorch LSTM的直观图 第二个链接国内可能wall，故此贴上Pytorch的理解图。 --------------------------------------------------------------------------------------------------------------------------------------------------
Pytorch_lstm详细讲解
To be a better man
12-13 3万+
1.详细讲解官方文档的例子： 这里有个老哥先带你回顾一下lstm的理论知识： pytorch中lstm参数与案例理解。_wangwangstone的博客-优快云博客_torch.lstm RNN_了不起的赵队-优快云博客_rnn 这里主要要领清楚堆叠lstm层，使用的hidden state从lstm1着一层传到lstm2着一层，而不是一行中的几个lstm1单元连在一块的意思。 这个图就可以理解为3个lstm1连在一块了，...
基于pytorch的LSTM模型训练与预测（附源码）
热门推荐
qq_65960840的博客
06-14 3万+
关于这个模型的基本概念可以查看这篇文章，写得很详细，我觉得能大概看明白反向传递各个部分的推导就行了。
Pytorch学习——LSTM与LSTMCell
weixin_44737266的博客
07-14 3257
nn.LSTM() 该模块一次构造完若干层的LSTM。 构造方法 model = nn.LSTM(2, 2, 10, batch_first=True) """参数说明： 　　- feature_len:特征的维度 　　- hidden_len:隐藏层的个数 　　- layer_num:每个时间步所对应的模型层数 　　- batch_first:用来指示数据应该以什么形式来给，默认为False，数据形状(seq_len,batch,feature_len)；否则形状为(batch,seq_len
pytorch笔记：实现简易LSTM
qq_40206371的博客
06-08 1316
1 lstm理论部分 详细可见机器学习笔记 RNN初探_刘文巾的博客-优快云博客
PyTorch LSTM的参数详解以及输出详解
Decennie的博客
07-31 2268
双向LSTM中 output, h_n, c_n 状态详解 LSTM详解(经典之作) class torch.nn.LSTM(*args, **kwargs) 参数列表 input_size：x的特征维度 hidden_size：隐藏层的特征维度 num_layers：lstm隐层的层数，默认为1 bias：False则bih=0和bhh=0. 默认为True batch_first：True则输入输出的数据格式为 (batch, seq, feature) dropout：除最后一层，每一层的输出都进行d
【译】理解LSTM网络，RNN入门材料
qishi的博客
04-16 2630
RNN和LSTM介绍
人人都能看懂的LSTM
陈诚的博客
12-16 1482
这是笔者在看了台大李宏毅教授的深度学习视频之后的一点总结和感想。看完介绍的第一部分RNN尤其LSTM的介绍之后，整个人醍醐灌顶。本篇博客就是对视频的一些记录加上了一些个人的思考。 0. 从RNN说起循环神经网络（Recurrent Neural Network）或RNN（Rumelhart et al.，1986c）是一种用于处理序列数据的神经网络。由于其能够“记录”先前的数据并且是一种“变长”（长
LSTM的学习
weixin_46376651的博客
05-26 1645
1、LSTM **长短期记忆（Long short-term memory, LSTM）**是一种特殊的RNN。主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。 相比RNN只有一个传递状态 h ，LSTM有两个传输状态，一个 c （cell state），和一个 h（hidden state）。（Tips：RNN中的 h对于LSTM中的 c ） 其中对于传递下去的 c改变得很慢，通常输出的c 是上一个状态传过来
深度学习--LSTM（长短时记忆网络）原理详解
wenqiwenqi123的博客
06-19 1万+
上篇文章介绍了GRU，建议不太了解RNN和GRU的同学看看我上一篇文章：https://blog.youkuaiyun.com/wenqiwenqi123/article/details/80707810这篇来说一说LSTM，这两个最大的不同之处在于LSTM多了一个门。GRU有update gate（更新门）、reset gate（重置门）。而LSTM有三个门，update gate（更新门），forget ...
长短时记忆网络(LSTM)
devil_son1234的博客
04-13 1364
长短时记忆网络是啥 长短时记忆网络的思路比较简单。原始RNN的隐藏层只有一个状态，即h，它对于短期的输入非常敏感。那么，假如我们再增加一个状态，即c，让它来保存长期的状态，那么问题不就解决了么？如下图所示： 新增加的状态c，称为单元状态(cell state)。我们把上图按照时间维度展开： 上图仅仅是一个示意图，我们可以看出，在t时刻，LSTM的输入有三个：当前时刻网络的输入值、上一...
LSTM理论知识讲解
上帝是个娘们的博客
04-09 8408
结构 1. RNN与LSTM的对比 RNN: LSTM: 其中的notation： 这里要注意：上图中四个黄框，每一个都是普通的神经网络，激活函数就是框上面所标注的。 通过对比可以看出，RNN的一个cell中只有一个神经网络，而LSTM的一个cell中有4个神经网络，故一个LSTM cell的参数是一个RNN cell参数的四倍。 从上图也可以看出，原来的一个RNN cell只需要存储一个...
用最通俗的方式理解LSTM和重要参数
weixin_60360239的博客
04-01 3918
LSTM---长短期记忆递归神经网络是一个非常常用的神经网络，其特点在于该网络引入了长时记忆和短时记忆的概念，因而适用于一些有着上下文语境的回归和分类，诸如温度预测或是语义理解。从利用pytorch来构造模型的角度来看，该模型相比于一般的模型会有一些不同的地方，尤其是在参数的设置上，本文尝试以一个相对通俗的方式来解释本人的一些理解。
循环神经网络LSTM论文解读
qq_32172681的博客
08-25 2万+
版权声明：本文为优快云博主「了不起的赵队」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.youkuaiyun.com/zhaojc1995/article/details/80572098 论文名称：Convolutional LSTM Network: A Machine Learning Approach for Prec...
pytorch_bert_bilstm_crf_ner
最新发布
03-26
### 使用 PyTorch 实现 BERT-BiLSTM-CRF 的命名实体识别 (NER) 为了构建一个基于 PyTorch 的 BERT-BiLSTM-CRF 模型用于命名实体识别任务，可以按照以下方法设计模型结构并完成其实现。 #### 1. 模型架构概述 BERT 是一种预训练的语言表示模型，能够捕捉上下文中的语义信息；BiLSTM 能够进一步提取序列特征；而 CRF 则负责优化整个标签序列的一致性和准确性。三者结合可以在 NER 任务上取得较好的表现[^1]。 #### 2. 主要模块说明 - **BERT 层**: 提取输入文本的上下文嵌入向量。 - **BiLSTM 层**: 对 BERT 输出的词向量进行双向 LSTM 编码，增强对局部依赖性的建模能力。 - **CRF 层**: 结合全局约束条件解码最优标签路径。 #### 3. 代码实现 以下是完整的代码框架： ```python import torch from torch import nn from transformers import BertModel, BertTokenizer class BERT_BiLSTM_CRF(nn.Module): def __init__(self, bert_model_name, num_labels, lstm_hidden_dim, device='cpu'): super(BERT_BiLSTM_CRF, self).__init__() # 加载预训练的 BERT 模型 self.bert = BertModel.from_pretrained(bert_model_name).to(device) self.tokenizer = BertTokenizer.from_pretrained(bert_model_name) # 获取 BERT 隐藏层维度 self.lstm_input_dim = self.bert.config.hidden_size # 双向 LSTM 设置 self.lstm = nn.LSTM(self.lstm_input_dim, lstm_hidden_dim // 2, bidirectional=True, batch_first=True).to(device) # 将 LSTM 输出映射到标签空间 self.fc = nn.Linear(lstm_hidden_dim, num_labels).to(device) # 初始化 CRF 层 self.crf = CRF(num_tags=num_labels, batch_first=True).to(device) def forward(self, input_ids, attention_mask=None, labels=None): # 输入经过 BERT 得到隐藏状态 outputs = self.bert(input_ids=input_ids, attention_mask=attention_mask)[0] # 经过 BiLSTM 进一步编码 sequence_output, _ = self.lstm(outputs) # 映射到标签空间 emissions = self.fc(sequence_output) if labels is not None: loss = -self.crf(emissions, labels, mask=attention_mask.byte()) return loss else: predictions = self.crf.decode(emissions, mask=attention_mask.byte()) return predictions ``` #### 4. 关键组件解释 - **BERT Layer**: `BertModel` 和 `BertTokenizer` 来自 Hugging Face Transformers 库，提供了强大的中文/英文分词和上下文表征功能[^2]。 - **BiLSTM Layer**: 接收来自 BERT 的输出作为输入，并对其进行双向 LSTM 处理，从而捕获更复杂的序列模式. - **CRF Layer**: 使用第三方库如 `pytorch-crf` 或自行定义 CRF 类，确保最终预测结果满足全局一致性约束[^4]。 #### 5. 数据加载与训练流程 数据加载部分可参考如下模板： ```python dataset = Dataset() loader = torch.utils.data.DataLoader( dataset, batch_size=500, shuffle=True, collate_fn=collate_fn ) model = BERT_BiLSTM_CRF('bert-base-chinese', num_labels=len(label_map), lstm_hidden_dim=256, device=device).to(device) optimizer = torch.optim.Adam(model.parameters(), lr=LR) ``` 其中，`Dataset()` 和 `collate_fn` 函数需根据具体任务定制化实现。 #### 6. 总结 通过上述方式组合 BERT、BiLSTM 和 CRF，能够在复杂场景下有效提升命名实体识别的效果。此方案充分利用了各子模块的优势，在多个公开评测集合中表现出色[^3]。 ---
评论 7
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

csdn-WJW

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值