Pytorch-RNN关于pack_padded_sequence之enforce_sorted详解

原创

于 2021-04-25 17:54:19 发布 · 2.1k 阅读

CC 4.0 BY-SA版权

本文介绍如何在PyTorch中使用pack_padded_sequence处理不同长度的序列数据，确保LSTM处理后保持原始序列顺序。通过具体示例说明pack_padded_sequence和pad_packed_sequence的工作原理。

如果不知道pack与pad，请看这里blog

input为一个batch，这个batch里由N个segment组成，这个segment的序列十分重要，不能打乱。因此，我不能把这个batch按照segment的长度，来从大到小进行排序
但是我需要用LSTM来处理这个batch里面的每个segment
而且我还需要保证，LSTM处理之后，这个batch还是保持原来的segment序列

调用pack_padded_sequence来处理input，并且传入参数enforce_sorted=False

给出代码（一层的LSTM只需要用到最后一个unit的hidden_state，所以我直接采用LSTM的返回值了）

packed = rnn.pack_padded_sequence(x, x_len.cpu(), batch_first=True, enforce_sorted=False)
output, (hidden, _) = LSTM(packed)