Pytorch显存充足出现CUDA error:out of memory错误

最新推荐文章于 2025-05-28 08:14:07 发布
最新推荐文章于 2025-05-28 08:14:07 发布
阅读量1w 收藏 12
点赞数 1
CC 4.0 BY-SA版权
分类专栏： DL 文章标签： cuda gpu pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Hungry_Shell/article/details/108059679
当Pytorch在CUDA环境下运行时，即使显存充足，也可能遇到'out of memory'错误。这可能是Tensorflow与Pytorch冲突导致的。解决方案是设置CUDA_VISIBLE_DEVICES环境变量，限制使用特定GPU，例如CUDA_VISIBLE_DEVICES=2,3，使得进程只使用物理上的2、3号GPU，避免资源冲突。" 132648321,19673927,Python实现计算IOU算法,"['计算机视觉', '图像处理', 'Python编程', '算法']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Pytorch显存充足出现CUDA error:out of memory错误

Ref:
https://www.cnblogs.com/jisongxie/p/10276742.html

报错内容

img

Bug描述

显存充足，并且已经通过 torch.nn.DataParallel 指定GPU编号
CUDA与CUDNN均无错误，NVIDIA驱动无错误

解决方案

以上情况很可能是是Tensorflow和pytorch冲突导致的，因为我发现当我同学在0号GPU上运行程序我就会出问题。
详见pytorch官方论坛：
https://discuss.pytorch.org/t/gpu-is-not-utilized-while-occur-runtimeerror-cuda-runtime-error-out-of-memory-at/34780

最低0.47元/天 解锁文章
解决RuntimeError: CUDA error: out of memory
优快云 精品推荐
02-21 2579
显卡被占用：当存在多个显卡时，默认使用 0 号显卡。即使 1 号显卡空闲，但如果 0 号显卡被占用，仍然会导致报错。在使用 PyTorch 中加载模型时，出现 CUDA 错误: out of memory。根据具体情况，采取上述解决办法中的一种或多种来解决 CUDA 错误: out of memory 问题。解决办法：可以让其他显卡不可见，从而使 0 号显卡变为空余的 1 号显卡。CUDA 显存不足：可能是因为当前显卡显存不足。解决办法：考虑更换显存更大的显卡。
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
显存充足，pytorch却报错CUDA out of memory？(已解决)
weixin_45914748的博客
11-25 2万+
明明显存充足，但是train的时候总是提示“CUDA out of memory”。注意！这里的allocated是你自己程序所占用的，我之前理解错了，以为是被别人占用的（然而并没有其他进程）。
CUDA：out of memory的解决方法（实测有效）
大摆王的博客
05-08 8993
CUDA out of memory问题通常发生在深度学习训练过程中，当GPU的显存不足以容纳模型、输入数据以及中间计算结果时就会触发。：深度学习模型尤其是大型模型，如Transformer或大型CNN，拥有大量的参数，这些参数在训练时需要被加载到GPU显存中。同时，如果批量大小（batch size）设置得过大，一次性处理的数据量也会增加，进一步加大显存的负担。
找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]
椰子奶糖的博客
02-03 3万+
说明: 系统：Centos（Redhat） 环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu） Cuda：9.2 Cudnn：7.0.6？ 模型 YOLOv3 描述 图找不到了，就去隔壁偷了一张（传送） 在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDA error:out of memory 隔壁说是找不...
显存充足，但是却出现CUDA error:out of memory错误
dengxuan21210547的博客
01-16 6134
之前一开始以为是cuda和cudnn安装错误导致的，所以重装了，但是后来发现重装也出错了。 后来重装后的用了一会也出现了问题。确定其实是Tensorflow和pytorch冲突导致的，因为我发现当我同学在0号GPU上运行程序我就会出问题。 详见pytorch官方论坛： https://discuss.pytorch.org/t/gpu-is-not-utilized-whil...
显卡内存足够但是torch报错RuntimeError: CUDA out of memory
weixin_43870546的博客
09-16 1488
1、刚开始我以为是batch_size设置问题导致内存溢出，但是仔细观察发现空闲内存大于需要使用的内存, 解决办法 卸载torch 当前torch 版本为1.6.0 torchvision版本为0.7.0 回退到 torch 1.2.0 torchvision 0.4.0 问题解决 ...
显卡显存充足，但是报错：CUDA error: out of memory
惊魂呓梦的博客
08-15 5311
显卡显存充足，但是报错：CUDA error: out of memory
PyTorch报错RuntimeError: CUDA error: out of memory的显存优化
最新发布
shejizuopin的博客
05-28 874
本文系统介绍了PyTorch中常见CUDA显存不足问题的解决方案。文章首先分析了显存溢出的四大原因：批量过大、模型复杂、显存碎片化及数据类型不当。随后提出包含8种具体措施的优化矩阵，涵盖基础策略（批量调整、梯度累积）、模型优化（剪枝量化、轻量模型）、高级管理（混合精度、显存监控）和数据优化（DataLoader配置、输入尺寸调整）。每种方法均附代码示例和性能对比数据，如混合精度训练可节省50%显存并提升速度10-20%。最后提供验证流程和常见问题解答，建议优化路径为：先调批量/梯度累积，再考虑模型轻量化，最
pytorch出现CUDA error:out of memory错误
weixin_43979925的博客
04-10 5335
pytorch出现CUDA error:out of memory错误问题描述解决方案 问题描述 模型训练过程中报错，提示CUDA error:out of memory。 解决方案 判断模型是否规模太大或者batchsize太大，可以优化模型或者减小batchsize； 比如： 已分配的显存接近主GPU的总量，且仍需要分配的显存大于缓存（306M>148.3M）。 cached（...
显存充足 RuntimeError: CUDA error: out of memory
AsajuHuishi的博客
11-05 4435
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。 我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory 首先nvidia-smi，发现0卡显存充足。 然后查看之前的日志，发现打印的变量在1卡上。 这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。 修改测试代码即可，将 checkpoint .
显存充足，但提示CUDA out of memory
YasmineC的博客
08-12 7522
详细错误如下： RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 1; 23.70 GiB total capacity; 21.69 GiB already allocated; 26.81 MiB free; 22.00 GiB reserved in total by PyTorch) 认真阅读这个错误后，就去查看了GPU 1，发现显存充足： 但是这里的显存充足，可能并不是真的充足，我每次查看显存时，都是在程序崩掉
YOLOX训练：显存足够，但依旧CUDA out of memory（Tried to allocate 5.58 GiB，8.00 GiB total capacity，6.40 GiB free）
ELSA001的博客
10-20 2万+
刚刚我尝试训练自己的yolox_s模型，但我batch_size不管改成多少，甚至改成1，都直接报CUDA out of memory，我很苦恼，这里明明显示我的显存是足够的，但是依旧OOM。 训练命令如下： (mypytorch) E:\YOLOX>python tools/train.py -f exps/example/yolox_voc/yolox_voc_s_bm.py -d 1 -b 2 --fp16 -o -c weights/yolox_s.pth 我在这里加载了GitHub的预训练
显存充足，但出现CUDA error:out of memory的错误解决
aaazym的博客
11-23 1123
试了网上的一些方法都仍然报这个错误，后来试着把config里的data_num_workers从4改成了0，就可以运行了。我暂时也还不知道是什么原因，之前设置为4的时候是可以跑通的，今天再运行就出错了。
显存充足但是CUDA out of Memory报错解决_查看僵尸进程
qq_40349484的博客
09-13 5841
显存充足但是CUDA out of Memory报错解决_查看僵尸进程
记一次显存充足报CUDA out of memory 的错误
一直大萝北的萝北坑
08-23 961
显存充足 CUDA out of memory
CUDA error:out of memory
热门推荐
Arcobaleno
05-16 3万+
今天在运行程序的时候，一直跟我报这个错误，说我CUDA内存不足。调试了很久，最后发现竟然是这样····· 刚开始我怀疑是服务器上的显卡被人用了，但是当我mvidia-smi的时候发现3块GPU都没人用。。那这个问题显然是不可能了。那为何会这样呢？ 又有人说是TensorFlow和Pytorch的版本冲突。？？？我并没有搞到TensorFlow啊 最后参考了该帖子：http:...
pytorch cuda runtime error (59) 错误
LEILEI18A的博客
06-12 5831
  pytorch训练过程中：出现 cuda runtime error (59) : device-side assert triggered at /pytorch/aten/src/THC/generic/THCTensorCopy.c:70 输出Variable(label).cuda()为空，在变成Variable之前 输出label最大最小值，一般情况绝对是超出了标签类别数。 ...
明明有内存报错CUDA out of memory
qq_35037684的博客
12-07 1440
RuntimeError: CUDA out of memory. Tried to allocate 2.42 GiB (GPU 0; 24.00 GiB total capacity; 113.84 MiB already allocated; 21.85 GiB free; 134.00 MiB reserved in total by PyTorch) 百度，有人说是运行完python, 没有释放内存，运行nvidia-smi, 查看占用GPU的进程，命令 TASKKILL /PID 18620 -
CUDA Error: out of memory
09-08
CUDA Error: out of memory是指在GPU运行过程中内存不足导致的错误。 出现这个错误的原因是，模型所需的显存超过了GPU的可用内存。这可能是因为模型太大或者输入数据的批次太大。为了解决这个问题，有几个方法可以尝试： 1. 将批次大小(batch size)减小：减小每个批次中的样本数量可以减少模型所需的显存。可以尝试减小批次大小直到不再出现内存不足的问题。 2. 使用item()属性提取torch变量的标量值：在计算过程中，确保只保留必要的变量，而不是保留整个计算图。当你需要提取torch变量的标量值时，使用item()属性而不是保留整个变量。这样可以释放一些显存。 3. 在测试阶段添加代码释放显存：在测试阶段，可以手动释放一些不再使用的显存。可以通过调用torch.cuda.empty_cache()来清空显存。这样可以为后续的计算释放一些显存空间。 请记住，这些方法不一定适用于所有情况。如果问题仍然存在，可能需要考虑使用更大的GPU或减小模型的规模。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [CUDA error: out of memory](https://blog.csdn.net/ayuuuuu/article/details/129376615)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [pytorch模型提示超出内存RuntimeError: CUDA out of memory.](https://download.csdn.net/download/weixin_38552305/14884908)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值