RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously问题解决

原创 已于 2023-01-02 18:43:42 修改 · 4.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #开发语言

于 2022-12-25 08:12:16 首次发布
本文探讨了在程序运行过程中突然出现CUDA内存错误的问题。即使显存充足且未被占用，程序仍然报错。文中分享了一种可能的解决办法：通过多次重启及尝试运行直至程序正常启动。
部署运行你感兴趣的模型镜像

程序本来跑的好好的，但是某一次跑忽然报错

RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.

我的情况：程序本来跑的好好的，代码没有问题，显存还都没用，且显存充足

查到的报此错问题大都在要用的那块GPU被占用，此时问题解决方法为指明要用的、空闲的GPU序号
在这里插入图片描述

但是我的问题不在此，问题在GPU发生未知错误，只能多次重启+尝试重新运行，直到程序可以运行。

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

study_&
关注
【yolo系列：运行报错RuntimeError: CUDA error: an illegal memory access was encountered CUDA kernel errors m】
weixin_47869094的博客
09-06 7145
使用yolov7训练数据集，但是训练到一半就开始停止了并且报错。
解决：RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0； 2.00 GiB total capacity； 1
地中海の养成记
01-31 6万+
1. 问题2. 分析3. 解决 1. 问题 训练模型时报错： RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 2.00 GiB total capacity; 1.49 GiB already allocated; 57.03 MiB free; 6.95 MiB cached) 2. 分析 这种问题，是GPU内存不够引起的 3. 解决 方法一： 换高性能高显存的显卡 方法二：修改代码 报错的训练代码为.
RuntimeError: CUDA error: out of memoryCUDA kernel errors might be asynchronously reported at some
Yao_Wan的博客
09-17 1940
可是我明明前几天刚用过啊，啥也没改就突然报错了，怎么想也不可能是机器突然显存不行了吧。而且我喵喵的就是用的学校该死的服务器！就是在文件里加入“torch.backends.cudnn.enabled=False”这行代码。这个指令其实加到哪里都行，主要是关闭cudnn加速的。找到了解决办法，我哭了家人们，太搞我心态了。下图就是历经千辛万苦我终于能运行了。不过我感觉关了也没感觉怎么慢。突然有一次运行就出现这个错误。反正我加到了下图这个位置。搜了半天，看到有个大佬。
解决RuntimeError: CUDA error: out of memory
qq_43733107的博客
01-09 1万+
bug
pytorch: 四种方法解决RuntimeError: CUDA out of memory. Tried to allocate ... MiB
热门推荐
xiyou__的博客
07-06 20万+
Bug：RuntimeError: CUDA out of memory. Tried to allocate … MiB 解决方法： 法一： 调小batch_size，设到4基本上能解决问题，如果还不行，该方法pass。 法二： 在报错处、代码关键节点（一个epoch跑完…）插入以下代码（目的是定时清内存）： import torch, gc gc.collect() torch.cuda.empty_cache() 法三（常用方法）： 在测试阶段和验证阶段前插入代码 with torch.no_gr
RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously reported at some
weixin_54186806的博客
11-24 1863
fuser -v /dev/nvidia*查看进程，使用kill -9 <进程号>或者直接把所有运行的程序关闭，然后再重新打开，就可以进行训练了。
RuntimeError: CUDA error: out of memory的解决【实测成功】
weixin_41529093的博客
03-23 4万+
仅作为记录，大佬请跳过。 文章目录背景解决参考原因 背景 博主使用linux服务器运行MIL_train.py程序时，出现RuntimeError: CUDA error: out of memory的错误（之前运行这个python木有问题） 解决 在MIL_train.py文件里加入： import os os.environ["CUDA_VISIBLE_DEVICES"] = '1' 即可。 参考 感谢大佬博主文章：传送门 原因 服务器的默认gpu显卡正在使用，需要使用gpu的另一个空闲的显卡；li
RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect. For debugging consider passing CUDA_LAUN
03-13
在深度学习任务中，`RuntimeError: CUDA out of memory` 是一种常见的错误。以下是几种可能的原因及其对应的解决方案： #### 1. **模型或批量数据过大** 当模型参数过多或者输入的数据批次较大时，可能导致显存不足...
运行yolov5训练数据集，报错：RuntimeError: CUDA error: out of memory CUDA kernel errors might be asynchronously
qq_44421796的博客
12-17 1400
batch_size默认是16，然后我运行就显示这个错误，我查看网上的资料很多，对于我来说，我将batch_size改成4就可以成功运行了。
【已解决】RuntimeError: CUDA error: out of memoryCUDA kernel errors | 选择指定服务器跑模型
joyirine的博客
11-06 5705
RuntimeError: CUDA error: out of memoryCUDA kernel errors
解决报错CUDA error：out of memory。CUDA kernel errors might be asynchronously reported at some other API
长路漫漫亦灿灿
03-29 6544
在服务器上运行程序，遇到报错：CUDA error：out of memory。CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.报错原因： 我在另一个显卡的程序B占用了目前显卡的显存，导致运行程序A显存不够。解决方法：停止程序B后，再次运行程序A，就可以正常运行。
报错解决：RuntimeError: CUDA error: out of memory CUDA kernel errors
weixin_48018951的博客
07-22 4770
在device为CUDA的情况下，运行多个程序的时候，可能会遇到如下报错。
CUDA error: out of memory CUDA kernel errors might be asynchronously reported 的解决方法
zy的博客
08-31 2397
错误解决
已解决：使用torch.load时遇到RuntimeError: CUDA error: out of memory CUDA kernel errors
最新发布
weixin_63383390的博客
07-22 698
摘要：代码运行过程中出现"CUDA out of memory"错误，原因是模型加载时张量设备不匹配，即保存与加载时使用的GPU设备不一致。解决方法是在torch.load()中指定map_location参数，将模型加载到当前运行的设备上，如：torch.load('your.pth', map_location=device)。这样可以避免因设备不一致导致的内存错误。
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below
毕竟是Shy哥
12-04 2925
*解决：**在运行代码最上面加上这几句。
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below m
qq_35037684的博客
11-07 7920
ps -ef | grep occ | cut -c 9-15 | xargs kill -9 #一次删除所有带python的进程。运行ps命令查看自己的进程情况及gpu占用情况，kill -9 PID, 可以杀死对应的PID进程。问题及解决：CUDA在其他地方有被占用的情况，先关闭其他程序中的cuda占用，再执行。
【解决方案】CUDA kernel errors might be asynchronously reported at some other API call
m0_73367097的博客
04-29 4828
CUDA kernel errors might be asynchronously reported at some other API call
CUDA kernel errors might be asynchronously reported at some other API call 错误解决
qq_41018465的博客
01-12 2万+
pytorch的深度学习项目报错
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值