nn.utils.rnn.pack_padded_sequence: RuntimeError: ‘lengths‘ argument should be a 1D CPU int64 tensor

最新推荐文章于 2024-08-18 22:06:46 发布
原创 最新推荐文章于 2024-08-18 22:06:46 发布 · 957 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了解决PyTorch中RNN模块使用时遇到的关于张量设备（CPU/GPU）不匹配的问题。当使用pack_padded_sequence函数时，如果长度参数为Tensor类型，则必须确保该Tensor位于CPU上。文章提供了具体的解决方案，并解释了背后的原因。
部署运行你感兴趣的模型镜像

解决方法：对length调用.cpu()即可

packed = rnn.pack_padded_sequence(x, x_len.cpu(), batch_first=True)

原因：

It’s because of this PR #41984, that preserves the device of as_tensor argument if it’s torch tensor. pack_padded_sequence calls as_tensor on the lengths tensor: https://github.com/pytorch/pytorch/blob/master/torch/nn/utils/rnn.py#L234. It caused implicit copy before, but does not now.
Given that implementation does not do anything smart with the lengths on the GPU, and only copies and synchronizes behind users back, @myleott do you think we should restore previous behavior, or can you call .cpu() on the lengths in your script before calling pack_padded_sequence?

输入到pack_padded_sequence如果是tensor形式，必须要保证其在CPU()上

参考自：
https://github.com/pytorch/pytorch/issues/43227

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

RuntimeError: ‘lengths’ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor
风口IT猪的成长录
08-07 5105
PyTorch 使用报错报错内容原因分析解决方案 报错内容 RuntimeError: ‘lengths’ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor 原因分析 因为我使用的是高版本的 torch 1.7.1，这个报错是由于torch 1.5 以上BiLSTM升级导致的。 解决方案 转到CPU运行代码就不报错了！ 将报错的位置参数lengths转化为cpu 类型: lengths.to("cpu") 即
【pytorch】torch.nn.utils.rnn的pad_sequence、pack_padded_sequence、pad_packed_sequence、PackedSequence
学渣的博客
07-04 1016
nn.utils.rnn.PackedSequence是nn.utils.rnn.pack_padded_sequence的亲戚，两者输出的结果都一样，都是将序列进行pack，得到。第一个是PackedSequence对象，而标准RNN返回的是所有序列，每个位置的隐向量输出，形状是[batch_size,seq_len,hidden_size]。第二个一模一样，是RNN每一个序列的最后一个位置的隐向量输出，形状是[batch_size,hidden_size]。类型的变量，只是输入的参数不一样。
RuntimeError: ‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor
A_John 的博客
01-02 5780
文章目录 1、错误提示 使用 PyTorch 训练，CPU 可以正常使用，使用 GPU 时出现以下错误： RuntimeError: 'lengths' argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor 2、错误原因 PyTorch 版本的问题，版本大于1.5 会报以上错误 3、解决方案 以我的为例： 解决前 ： output = classifier(inputs, seq_lengths).
深度学习--参数报错问题
最新发布
GDHBFTGGG的博客
08-18 736
这个报错通常是因为在使用 torch.nn.utils.rnn.pack_padded_sequence 时，lengths 参数中的某个值小于等于 0。pack_padded_sequence 要求输入的序列长度必须大于 0，但如果数据中存在长度为 0 的序列，就会触发这个错误。
RuntimeError ‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda0 Long tensor问题解决方法
weixin_44578857的博客
05-14 1697
RuntimeError: ‘lengths’ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor问题解决方法 在使用rnn网络的pack_padded_sequence出现RuntimeError: ‘lengths’ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor问题，可使用如下解决方式： 将 nn.utils.rnn
【Pytorch】【Error】‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor
wandugu的博客
11-05 564
【问题原因】pytorch自身原因，参考fix pack_padded_sequence() by antoniogois · Pull Request #119 · joeynmt/joeynmt · GitHub 【解决方法】 packed = pack_padded_sequence(embed_src, src_length, batch_first=True) # 改为 packed = pack_padded_sequence(embed_src, src_length.cup()
pytorch中 nn.utils.rnn.pack_padded_sequence和nn.utils.rnn.pad_packed_sequence
m0_46483236的博客
04-12 7300
1. 官方文档： torch.nn — PyTorch 1.11.0 documentation 2. 应用背景： 在使用pytorch处理数据时，一般是采用batch的形式同时处理多个样本序列，而每个batch中的样本序列是不等长的，导致rnn无法处理。所以，通常的做法是先将每个batch按照最长的序列进行padding处理等长的形式。 但padding操作会带来一个问题，那就是对于多数进行padding过的序列，会导致rnn对它的表示多了很多无用的字符，我们希望的是在最后一个有用的字符后就.
pad_sequence和nn.utils.rnn.pack_padded_sequence和nn.utils.rnn.pad_packed_sequence
小白之比白更白的博客
01-15 1022
pad_sequence 填充可变长度张量列表 例子 >>> from torch.nn.utils.rnn import pad_sequence >>> a = torch.ones(25, 300) >>> b = torch.ones(22, 300) >>> c = torch.ones(15, 300) >>> pad_sequence([a, b, c]).size() torch.Size(
解决 torch.nn.utils.rnn.pack_padded_sequence(input, length, batch_first=True) length should be sort的问题
weixin_44714173的博客
04-02 1445
torch.nn.utils.rnn.pack_padded_sequence(input, length, batch_first=True) length should be sort 一开始我就去torch的官网：https://pytorch.org/docs/stable/generated/torch.nn.utils.rnn.pack_padded_sequence.html torch.nn.utils.rnn.pack_padded_sequence（输入，长度，batch_first =
pytorch中的pad_sequence、pack_padded_sequence和pad_packed_sequence函数
热门推荐
tcn760的博客
05-26 1万+
torch.nn.utils.rnn.pad_sequence、torch.nn.utils.rnn.pack_padded_sequence和torch.nn.utils.rnn.pad_packed_sequence 在使用pytorch训练模型的时候，一般采用batch的形式同时处理多个样本序列，而同一batch中时序信息的的长度是不同的，这样就无法传入RNN，LSTM，GRU这样的模型中进行处理。一个常用的做法是按照一个指定的长度(或者按照batch中最长的序列长度)对batch中的序列进行填充(p
pytorch 1.7.0 ‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Lon
weixin_36378508的博客
05-10 643
貌似是pytorch自身的问题，参考GitHub上的问题，解决。
‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor
weixin_43711726的博客
01-05 4783
今天在用pytorch训练模型遇到一个错误： RuntimeError: ‘lengths’ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor 解决： 参考https://github.com/pytorch/pytorch/releases inp = torch.rand(10, 2, 3, device=“cuda”) lengths = torch.tensor([10, 7], device=“cu
【Error】 ‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor
zoetu
08-17 631
RuntimeError: 'lengths' argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor
RuntimeError: ‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor.
天下对手教会少林武僧
02-25 3561
使用的torch版本是1.7.1 这个是由于pytorch 1.5以上BiLSTM升级导致的。 解决 lengths.to("cpu")
RuntimeError: ‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D
Kenard的博客
12-05 2749
pytorch版本不对，我出错的版本是1.7.0，换成pytorch1.4.0后错误消失
torch.nn.utils.rnn.pack_padded_sequence
06-06
torch.nn.utils.rnn.pack_padded_sequence是PyTorch中的一个函数，用于将一个填充过的序列打包成一个紧凑的Tensor。这个函数通常用于处理变长的序列数据，例如自然语言处理中的句子。打包后的Tensor可以传递给RNN模型进行训练或推理，以提高计算效率和减少内存占用。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值