报错记录（nlp）

原创已于 2024-05-06 12:32:32 修改 · 334 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#自然语言处理 #深度学习 #人工智能

于 2024-04-22 11:19:34 首次发布

深度学习专栏收录该内容

4 篇文章

订阅专栏

文章讲述了在NLP项目中遇到的两个报错，分别是关于`lengths`参数类型和设备不一致的问题。作者提供了针对PyTorch1.5及以上版本的解决方案，包括修改库文件和调整代码以确保所有张量在相同设备上操作。

部署运行你感兴趣的模型镜像

报错记录（`nlp`）

文章目录

- 报错记录（``nlp``）
- - 1. ``‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor``
  - 2. `RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0! (when checking argument for argument index in method wrapper__index_select)`

1. `‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor`

解决：Torch版本问题，Pytorch1.5以上版本升级了Bi-LSTM导致，直接的方法可以直接修改库代码（如果没有读懂当前代码可以一试）

修改的库文件：D:\software\anaconda3\envs\nlp\Lib\site-packages\torch\nn\utils\rnn.py

其中的函数：pack_padded_sequence

修改的代码部分：data, batch_sizes = _VF._pack_padded_sequence(input, lengths.cpu(), batch_first)中的lengths.cpu()，原代码：lengths

# 修改前
data, batch_sizes = \
    _VF._pack_padded_sequence(input, lengths, batch_first)
# 修改后
data, batch_sizes = \
    _VF._pack_padded_sequence(input, lengths.cpu(), batch_first)

更好的方法自然是修改自身代码。

2. `RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0! (when checking argument for argument index in method wrapper__index_select)`

解决：依旧是Torch版本问题，可以看出高版本的Torch会给出警告，new_tensor()函数已经不推荐用于构建新张量。

UserWarning: To copy construct from a tensor, it is recommended to use sourceTensor.clone().detach() or sourceTensor.clone().detach().requires_grad_(True), rather than tensor.new_tensor(sourceTensor).
  sequences_lengths.new_tensor(torch.arange(0, len(sequences_lengths)))

基于new_tensor()构建的张量设备与原张量不一致，因此可以进一步指定予以解决。或者依据sourceTensor.clone().detach()进行创建。

# 修改前
idx_range =\
    sequences_lengths.new_tensor(torch.arange(0, len(sequences_lengths)))
# 修改后
idx_range =\
    sequences_lengths.new_tensor(torch.arange(0, len(sequences_lengths)))
idx_range = idx_range.to(sequences_lengths.device)

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

报错记录（nlp）

报错记录（nlp）

文章目录

1. ‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor

2. RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0! (when checking argument for argument index in method wrapper__index_select)

报错记录（`nlp`）

1. `‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D cuda:0 Long tensor`

2. `RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cpu and cuda:0! (when checking argument for argument index in method wrapper__index_select)`