报错记录（nlp）_runtimeerror: 'lengths' argument should be a 1d cp-优快云博客

本文链接：https://blog.youkuaiyun.com/guguu1/article/details/138068306

文章讲述了在NLP项目中遇到的两个报错，分别是关于`lengths`参数类型和设备不一致的问题。作者提供了针对PyTorch1.5及以上版本的解决方案，包括修改库文件和调整代码以确保所有张量在相同设备上操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错记录（`nlp`）

文章目录

- 报错记录（``nlp``）
- - 1. ``‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor``
  - 2. `RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0! (when checking argument for argument index in method wrapper__index_select)`

1. `‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor`

解决：Torch版本问题，Pytorch1.5以上版本升级了Bi-LSTM导致，直接的方法可以直接修改库代码（如果没有读懂当前代码可以一试）

修改的库文件：D:\software\anaconda3\envs\nlp\Lib\site-packages\torch\nn\utils\rnn.py

其中的函数：pack_padded_sequence

修改的代码部分：data, batch_sizes = _VF._pack_padded_sequence(input, lengths.cpu(), batch_first)中的lengths.cpu()，原代码：lengths

# 修改前
data, batch_sizes = \
    _VF._pack_padded_sequence(input, lengths, batch_first)
# 修改后
data, batch_sizes = \
    _VF._pack_padded_sequence(input, lengths.cpu(), batch_first)

更好的方法自然是修改自身代码。

2. `RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0! (when checking argument for argument index in method wrapper__index_select)`

解决：依旧是Torch版本问题，可以看出高版本的Torch会给出警告，new_tensor()函数已经不推荐用于构建新张量。

UserWarning: To copy construct from a tensor, it is recommended to use sourceTensor.clone().detach() or sourceTensor.clone().detach().requires_grad_(True), rather than tensor.new_tensor(sourceTensor).
  sequences_lengths.new_tensor(torch.arange(0, len(sequences_lengths)))

基于new_tensor()构建的张量设备与原张量不一致，因此可以进一步指定予以解决。或者依据sourceTensor.clone().detach()进行创建。

# 修改前
idx_range =\
    sequences_lengths.new_tensor(torch.arange(0, len(sequences_lengths)))
# 修改后
idx_range =\
    sequences_lengths.new_tensor(torch.arange(0, len(sequences_lengths)))
idx_range = idx_range.to(sequences_lengths.device)