【Pytorch】xxx.to(device) 时 Runtime Error

最新推荐文章于 2025-04-11 17:47:44 发布
原创 最新推荐文章于 2025-04-11 17:47:44 发布 · 1.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #人工智能 #GPU

当尝试在GPU上运行PyTorch模型时遇到RuntimeError，发现GPU被其他进程占用。通过运行'nvidia-smi'检查GPU使用情况，找出并终止占用GPU资源的无关进程，成功释放GPU资源，恢复正常训练。
部署运行你感兴趣的模型镜像

最近刚入门pytorch准备使用gpu训练模型，结果运行demo的时候就抛出了Runtime Error，当时我使用的是Jupyter Notebook，jupyter很贴心的给我指出引起报错的代码位置就是一句:

xxx.to(device)

这里我的device是cuda:0即gpu设备，报错因为gpu已经被其他程序使用，剩余部分不够跑我的程序，于是我结束了占用gpu的其他无用的进程
首先，在命令行输入

nvidia-smi

查看是哪些进程在占用gpu在这里插入图片描述
然后我们根据描述，找到不需要的进程的PID（进程唯一标识符）
最后在命令行下结束这些不需要的进程

kill -9 PID

到此为止，大功告成，可以正常使用GPU跑模型了

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

Pytorch RuntimeError: No CUDA GPUs are available解决方案
weixin_43178406的博客
04-07 8万+
本文主要介绍了使用Pytorch产生错误提示：RuntimeError: No CUDA GPUs are available的解决方案，希望能对使用Pytorch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 步骤一 2.2 步骤二 2.3 步骤三
pytorch出错: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False
热门推荐
六五酥的博客
05-10 3万+
错误一：RuntimeError: Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is False. If you are running on a CPU-only machine, please use torch.load with map_location=torch.device(‘cpu’) to map your storages to the CPU. 解决方法：在torch.l
Pytorch中常见的报错解决方案
gdymind的博客
10-03 1万+
本文用于记录所在pytorch所遇到过的运行时错误，持续更新。 变量所在设备（CPU，GPU）不一致问题 RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same 可能原因：现在假设代码要在GPU上运行，并且你已经进行my_model.to...
pytorch to_device遇到数据迁移不成功的问题
weixin_42324313的博客
11-11 9107
pytorch中使用to(device)后数据未迁移成功 问题描述 调试模型时遇到报错： RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu! (when checking arugment for argument index in method wrapper_gather) 内容说是要进行运算的两个数据没有在同一个设备上，在cpu和cud
RuntimeError: Failed to infer device type
dhzfjnkl的博客
02-28 2222
使用docker+vllm部署大模型时出现无法找到device的错误
.to(device) 加载缓慢且最终报错RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED
weixin_42042072的博客
02-21 1038
RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED
model.to(device)那里报错RuntimeError: CUDA error: out of memory
www22691的博客
06-12 4182
试了很多方法，什么减小batch size，什么模型与pytorch不匹配，还有损失函数和梯度存储的方法，都没解决。 可能一些人的情况和我一样：就是和别人共用一台实验室服务器，别人的实验太吃显存了，命令行输入： watch -n 10 nvidia-smi 查看显存使用情况 红色框框是显存使用情况，可以看出我用的服务器没啥显存了，是没有办法把模型放到gpu上面的。 当然假如你的服务器有多个gpu，那可以用：device = torch.device(“cuda:0” if torch.cuda.is_ava
RuntimeError: NCCL error in：XXX，unhandled system error, NCCL version 2.7.8
weixin_51736742的博客
08-30 1万+
1.问题 pytorch 分布式训练中遇到这个问题， 2.原因 大概是没有启动并行运算？？？（有懂得大神请指教） 3.解决方案 （1）首先看一下服务器GPU相关信息 进入pytorch终端（Terminal） 输入代码查看 python torch.cuda.is_available()#查看cuda是否可用； torch.cuda.device_count()#查看gpu数量； torch.cuda.get_device_name(0)#查看gpu名字，设备索引默认从0开始； torch.cuda.cu
Pytorch错误：cuda runtime error (59): device-side assert triggered at THC
噢啦啦耶的博客
04-24 2115
参考资料：https://blog.csdn.net/Geek_of_优快云/article/details/86527107   今天在复现一份代码的过程中，遇到了一个很神奇的错误——RuntimeError: cuda runtime error (59): device-side assert triggered at …/aten/src/THC/THCCachingHostAlloca...
[PyTorch] RuntimeError: CUDA out of memory | GPU多卡使用
qq_31225201的博客
06-06 2914
在程序最开始： 使用单卡（前面也只写一个GPU），将数据和模型放到GPU上： 使用多卡，针对模型，进行并行化处理：
model.to(device)出现CUDA error: unknown error CUDA kernel errors might be asynchronously...错误
weixin_44840156的博客
11-16 980
model.to(device)出现CUDA error: unknown error CUDA kernel errors might be asynchronously.....重启一下
RuntimeError: random_device could not be read
wave2587的博客
06-15 1519
RuntimeError: random_device could not be read
神经网络代码总是停在to(device)很久之后才能继续运行（解决）
我有明珠一颗的博客
06-05 9049
如图所示，每次用cpu就能跑，但跑非常慢，然后就会把cuda设置为True，这样就在gpu上面跑了，但每次跑到to(device) 的时候就会卡很久很久，总之还是很慢很慢，所以在朋友的帮助下解决了这个问题。 CUDA版本检查，我的显卡是3060，据说GeForce RTX 30系列显卡仅支持CUDA 11.1及以上版本，于是去安装了CUDA11.1。 检查下环境变量，没毛病： 然后再在终端执行：nvcc -V 检查下，没毛病： 接着，在pytorch官网找到cuda11.1对应的pyt...
model.to(device)无法将自定义层的tensor转移到指定设备
pyxiea
01-22 5089
有时在model内自定义的模块或参数无法被model.to(device)正确转移到指定设备。如果仅在CPU上跑是没问题的，但如果在GPU上跑，其余部分参数被转移到了GPU，这部分无法正确转移的参数却存放在CPU，就会报错。 可以考虑以下几种解决办法： 1、使用nn.ModuleList()而不是python的内建List来存放多个模块 例如下面自定义的Module，如果将nn.ModuleLis...
VLLM: Failed to infer device type 简单解决方案
lif12345的专栏
04-11 2035
VLLM: Failed to infer device type 简单解决方案
解决报错RuntimeError: r.nvmlDeviceGetNvLinkRemoteDeviceType_ INTERNAL ASSERT FAILED at “../c10/cuda/driv
发现问题，并解决问题，批判性思维
03-22 1311
# 一、问题描述 报错如下，大部分报错解决贴都是说torch和cuda版本不一致会出现这个错误： ```python RuntimeError: r.nvmlDeviceGetNvLinkRemoteDeviceType_ INTERNAL ASSERT FAILED at "../c10/cuda/driver_api.cpp":27, please report a bug to PyTorch. Can't find nvmlDeviceGetNvLinkRemoteDeviceType: /home
解决报错：RuntimeError: Invalid device string: ‘cuda：0‘
零碎@流年絮语 的博客
10-31 1万+
错误再现： 出错原因： os.environ['CUDA_VISIBLE_DEVICES'] = '0' device = torch.device('cuda：0' if torch.cuda.is_available() and use_cuda else 'cpu') 应修改为： os.environ['CUDA_VISIBLE_DEVICES'] = '0' device = torch.device('cuda' if torch.cuda.is_available() and use_cud
pytorch model.to(device) 加载模型特别慢
weixin_43890288的博客
03-20 4911
问题：pytorch model.to(device) 加载模型特别慢 解决方案：卸载掉conda安装的pytorch 采用pytorch官网的pip指令下载方式。
Pytorch | Pytorch框架中模型和数据的gpu和cpu模式：model.to(device), model.cuda(), model.cpu(), DataParallel
iLOVEJohnny的博客
05-09 2万+
背景介绍 我们在使用Pytorch训练时，模型和数据有可能加载在不同的设备上（gpu和cpu），在算梯度或者loss的时候，报错信息类似如下： RuntimeError: Function AddBackward0 returned an invalid gradient at index 1 - expected type torch.cuda.FloatTensor but got torch.FloatTensor RuntimeError: Expected object of devi...
RuntimeError: NVML_SUCCESS == r INTERNAL ASSERT FAILED at "/opt/pytorch/c10/cuda/CUDACachingAllocator.cpp":1131, please report a bug to PyTorch. terminate called without an active exception
最新发布
10-30
<think>嗯，用户这次提出了一个非常具体的PyTorch GPU错误，看起来是关于NVML驱动层的问题。从错误信息看，核心是`CUDACachingAllocator.cpp`第1131行的NVML状态校验失败，和引用[1][2][5]高度相关。 用户提供的引用线索很有价值：引用[5]提到libnvidia-ml.so的符号缺失问题，引用[1]和[2]则指向PyTorch内部的CUDA内存分配机制。虽然用户给出的行号1131和引用中的1154/27有差异，但本质都是NVML API调用异常——这说明问题很可能出在GPU驱动层和PyTorch的兼容性上。 用户应该是在运行Qwen1.5-chat模型时触发该错误的，考虑到大模型推理对显存管理的严苛要求，这类错误往往在显存不足或驱动异常时爆发。需要重点排查三个方向：驱动版本兼容性（特别是NVML库）、显存碎片化管理、以及PyTorch版本本身可能存在的bug。 注意到引用[3][4]还提供了其他类似错误的线索，虽然报错点不同（CUDAContext.cpp和driver_api.cpp），但都涉及底层设备校验失败。这说明用户环境可能存在系统性兼容问题，不能只解决单一文件报错。 用户似乎已经查阅过社区解决方案（提到"大部分解决贴说版本不一致"），但需要更精准的定位。我应该把方案按优先级排序：首先验证驱动和libnvidia-ml.so的完整性（引用[5]的关键线索），其次处理显存隔离问题（引用[1]的解决方法），最后考虑PyTorch降级或编译选项调整这种重型方案。 特别要注意的是，错误信息明确要求"report a bug to PyTorch"，这意味着可能需要收集nvmlDeviceGetCount的调用栈信息提供给官方。不过用户当前更需要的是快速恢复运行，所以优先推荐环境修复方案而非调试方案。 </think>根据引用内容及PyTorch常见错误处理经验，解决`RuntimeError: NVML_SUCCESS == r INTERNAL ASSERT FAILED at .../CUDACachingAllocator.cpp:1131`错误的方法如下： ### 📌 核心解决方法 1. **更新NVIDIA驱动**（关键步骤） 此错误通常由**过时/损坏的NVIDIA驱动**导致NVML（NVIDIA管理库）与PyTorch不兼容引起： ```bash sudo apt update && sudo apt upgrade -y # Ubuntu/Debian sudo reboot ``` 更新后验证驱动版本： ```bash nvidia-smi # 确认驱动版本 ≥ 推荐版本（如525.60+） ``` 2. **检查CUDA环境一致性** PyTorch版本需与驱动支持的CUDA版本匹配： ```python import torch print(torch.__version__, torch.version.cuda) # 输出示例：2.1.0 11.8 ``` ✅ **匹配方案**： - 若`nvidia-smi`显示的CUDA版本为`12.x`，安装PyTorch时需指定`cu121` ```bash pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121 ``` 3. **验证NVML库链接** 引用[5]表明`libnvidia-ml.so`可能损坏或缺失符号： ```bash # 查找库文件路径 find / -name libnvidia-ml.so* 2>/dev/null # 重建驱动链接（谨慎操作） sudo rm /usr/lib/x86_64-linux-gnu/libnvidia-ml.so* sudo ln -s /usr/lib/nvidia/libnvidia-ml.so.XXX /usr/lib/x86_64-linux-gnu/ ``` ### ⚠️ 辅助修复措施 4. **限制PyTorch显存分配器** 临时切换分配器避免NVML调用（引用[1][2]）： ```python import os os.environ['PYTORCH_CUDA_ALLOC_CONF'] = 'backend:cudaMallocAsync' # 或 'native' ``` 5. **隔离GPU进程** 冲突的GPU进程可能触发此错误（引用[4]）： ```python # 运行脚本前重置GPU状态 sudo nvidia-smi --gpu-reset -i 0 ``` 6. **降级PyTorch版本** 确认是否新版PyTorch引入的bug（引用[5]）： ```bash pip install torch==2.0.1 torchvision==0.15.2 --extra-index-url https://download.pytorch.org/whl/cu117 ``` ### 🔍 诊断命令 ```bash # 检查NVML功能 nvidia-smi nvlink --status # 验证CUDA可用性 python -c "import torch; print(torch.cuda.is_available(), torch.cuda.device_count())" ``` > **重要提示**：若以上步骤无效，请收集完整错误日志并参考[PyTorch Issue #94777](https://github.com/pytorch/pytorch/issues/94777)提交Bug报告。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值