LSTM层输出中output和hidden

原创

已于 2022-08-19 17:08:05 修改 · 1.7k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#lstm #深度学习 #python

于 2022-08-18 18:58:01 首次发布

本文详细介绍了LSTM层的output和hidden的概念，output表示每个时间步的输出特征，而hidden是LSTM最后一层的输出特征。在单向LSTM中，output的最后一个时间步与hidden相同；在双向LSTM中，通过拼接正反向输出得到hidden。此外，使用PyTorch构建了一个简单的LSTM模型进行验证，展示了如何从模型中获取hidden和output，并通过实例证明了hidden等于output最后一个时间步的情况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

LSTM层输出中output和hidden

定义

output包含LSTM每个时间步t的输出特征,
h_t表示LSTM最后一层的输出特征。

在单向LSTM中，output的最后一个时间步维度的输出output[:, -1, :]等于hidden；

在双向LSTM层中，可以通过拼接output的最后一个时间步维度正反向的输出，来得到和hidden一样的输出。

另外，注意控制nn.LSTM()中：# batch_first=True，将喂入LSTM的数据中batchsize维度提前，如果输入维度中batchsize已经在第一个维度，故无需设置

构建简单模型验证

from torch import nn

class Config(object):
    def __init__(self, vocab_size, embed_dim, label_num):
        self.vocab_size = vocab_size
        self.embed_dim = embed_dim
        self.label_num = label_num
        self.bidirectional = False
        self.num_directions = 2 if self