pytorchDataLoader中调整数据长度不一致问题（lstm等）

活塞君

于 2021-09-08 17:58:04 发布

阅读量7.5k

点赞数 5

本文链接：https://blog.youkuaiyun.com/weixin_48174100/article/details/120185572

版权

在使用PyTorch进行LSTM等RNN计算时，遇到输入数据长度不一致的问题，可以通过自定义`collate_fn`或者利用`nn.utils.rnn.pack_padded_sequence`和`nn.utils.rnn.pad_packed_sequence`进行处理。自定义`collate_fn`用于加载数据和标签，而`pack_padded_sequence`则能加速运算，通过压缩填充后的数据，跳过RNN中的无效0值。解压缩后，可以通过序列长度获取最后一层的计算结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据长度不一致

用pytorch做rnn的时候，如果输入数据不一样长，可以用两种方式解决。
一种是自定义collate方法，

#自定义collate_fn
dataloader.DataLoader(dataset,4,True,collate_fn=my_collate)

然后里面写数据和标签载入方式即可

def my_collate(batch):
    data = [item[0] for item in batch]
    target = [item[1] for item in batch]
    return [data, target]

第二种方式使用

压缩：nn.utils.rnn.pack_padded_sequence
解压是这个pad_packed_sequence

核心思想是对padding补充过的数据进行压缩，这种方式可以加速运算在大数据集中效果较好
（原理是把数据中为0的padding给压缩掉，进入RNN计算的时候直接跳过输出0）

当你拿到长短不一致的数据的时候
第一步自然是PADDING，无论什么框架都一样，自己手写一个就行了

def custompad(X,max_len=10):
    X = torch.Tensor(X)
    m=X.shape[0]
    pad = torch.zeros

最低0.47元/天解锁文章