pytorch 训练正常,测试显存爆掉问题解决

最新推荐文章于 2025-06-03 09:00:55 发布
最新推荐文章于 2025-06-03 09:00:55 发布
阅读量6.6k 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 深度学习 Pytorch 文章标签： Pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/RZJMPB/article/details/85684123
在使用PyTorch进行模型训练时一切正常，但在模型预测阶段出现GPU内存溢出问题，错误信息提及显存爆掉。问题可能与PyTorch版本0.4.0和cuDNN版本7.0.1有关。为解决此问题，可以参考相关链接寻找临时解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pytorch 训练正常,测试显存爆掉问题解决

Intro

pytorch gpu out of memory when test the model

pytorch version

0.4.0

cudnn version

7.0.1

pytorch训练正常但是在预测的时候显存爆掉,错误信息如下

RuntimeError: CUD
最低0.47元/天 解锁文章

200万优质内容无限畅学
pytorch训练与测试爆显存问题的解决
juluwangriyue的博客
11-27 5310
解决Pytorch 训练与测试时爆显存(out of memory)的问题 Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of memory" in str(excep
Pytorch 训练与测试时爆显存(cuda out of memory)的终极解决方案，使用cpu(勿喷)
weixin_44493841的博客
05-12 6060
Pytorch 训练与测试时爆显存(out of memory)的终极解决方案，使用cpu(勿喷) 参见了很多方法，都没有用。 简单点，直接把gpu设成-1
Pytorch 训练与测试时爆显存(out of memory)的一个解决方案
热门推荐
xiaoxifei的专栏
11-23 6万+
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of...
深度解析：多节点多GPU PyTorch程序卡死与死锁诊断指南
gitblog_01111的博客
06-03 254
深度解析：多节点多GPU PyTorch程序卡死与死锁诊断指南 在分布式机器学习工程实践中，多节点多GPU环境下的程序卡死和死锁问题是开发者经常遇到的棘手难题。本文将基于实际工程经验，系统性地介绍诊断和解决这类问题的方法论。 一、问题背景与诊断工具 在分布式训练场景中，程序可能因为多种原因出现卡死现象，包括但不限于： 网络通信问题 NCCL集体操作阻塞 进程同步失败 硬件故障 1.1 基础诊断...
pytorch训练解决显存爆炸问题
zhangqiqiyihao的博客
05-08 5480
1.torch.cuda.empty_cache() 每轮epoch后加这个代码实测没有用 2.存储loss时将loss改为loss.item()，问题解决。 loss_list=[] 在我的代码中，在训练前建立了一个loss的list来存储每轮的loss，目的为了在N个EPOCH后绘制图像。 loss = criterion(outputs, dec_outputs.view(-1).reshape(-1,1)) optimizer.zero_grad() loss.backward() optimiz
DEBUG:pytorch训练时候没有问题，预测时候内存迅速增长，爆掉，out of memory的解决办法
Yolo_C的博客
06-03 2947
在使用pytorch训练模型的时候，训练时候，内存十分平稳，预测的时候迅速增长，报内存不足的错误 原始是忘记加no_grad 解决方法：在预测的时候，加with torch.no_grad() with torch.no_grad(): for i,batch in enumerate(test_loader): pass ...
目标检测——在训练PyTorch模型遇到显存不足的情况怎么办？(legecy)
墨门
03-09 7600
1 前言 在目标检测中，可能会遇到显存不足的情况，我们在这里记录一下解决方案； 2 如何减少PyTorch模型需要的显存 2.1 减小batch_size的数量 最小的数量可以设置为2； 2.2 可以减小分辨率 减小分辨率是节省显存的一种可行的做法，（但是南溪是不推荐这种做法的，如果实在显存不够，可以减小batch_size的大小，因为降低分辨率从本质上看，是对图像进行下采样，这样必然...
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
以下是一些解决PyTorch训练与测试时显存溢出问题的方法。 首先，当训练过程中出现OOM错误，可以尝试使用`torch.cuda.empty_cache()`函数来清理GPU缓存。这个函数会释放当前不再使用的CUDA张量，从而回收一部分显存...
Pytorch训练测试时如何避免显存溢出
最新发布
07-03
在使用 Pytorch 进行模型训练过程中，有时会遇到显存不足的情况，这通常是由于加载了过多的数据或模型结构过于庞大导致的。当出现显存不足时，如果模型不是特别庞大，可以通过一些清理技术来解决。比如使用 torch....
Pytorch 测试阶段显存溢出
weixin_41514525的博客
02-07 1371
Pytorch模型训练的测试阶段, 显存溢出，训练阶段并没有显存溢出，原因: 没有使用 with torch.no_grad()，model.eval()只是使dropout和bn不工作，并不能产生torch.no_grad()的效果 with torch.no_grad(): 测试阶段代码 ...
【突然科研】解决分布式训练时突然断开并报错
weixin_44398263的博客
04-13 883
今天在训模型时突然报错 查了一下可能是内存问题，但有观察显存一直是比较稳定的。请教了一下群里的大佬可能是cpu内存不足，进程被系统杀掉。因为终端没有输出详细报错信息，大佬建议我去/var/log下查系统日志【凡是被系统kill的都会写进系统日志里的】 通过命令 sudo egrep -i -r 'killed process' /var/log 或者用专门的dmesg sudo dmesg|grep -i kill | less 查到： 果然是内存不足被杀了，然后top看了一下果然cpu被占满了
训练没问题测试报内存溢出：RuntimeError: CUDA out of memory...
qq_40041133的博客
10-21 1806
OOM报错如图所示： 训练跑得好好的，怎么测试的时候反倒报错了呢？ 原来是没有加with torch.no_grad()，在测试的时候有gradient容易报内存溢出，加上： with torch.no_grad(): testY = model(testX) 再跑代码就OK了。 ...
Yolov8训练时正常，但验证时Cuda out of memory问题的解决方案（非完全解决）
qq_54708219的博客
07-31 1658
阻止模型验证时，仍计算梯度，导致模型显存溢出。但是这样仍无法解决，甚至验证无法进行【可能这里笔者加的地方有问题，如果有大神希望指导一下！因此，本着解决不了问题就解决提出问题的人的原则，直接在训练中关闭验证，等训练结束之后再单独验证。在没有条件更换训练显卡的情况下，笔者尝试增加。
解决网络训练正常、测试显存爆炸的问题（model.eval()和torch.no_grad()的区别）
LJC的博客
07-27 5194
问题分析： 网络训练时正常，但测试中途却出现显存爆炸时。训练网络基本快占满了一张卡，这样测试时是有可能会显存爆炸。因为可能由于某张图测试的时候需要更大的显存，图像输入偏大等不确定因素。但测试的时候可以以更少的显存进行测试的。那就是使用**with torch.no_grad()**语句。测试代码修改大体如下所示： for i, image in enumerate(testLoader): # ...... (省略代码) with torch.no_grad(): # 主要将网络部分置于此即可
pytorch使用过程中的错误处理之内存溢出
greatwind的博客
07-13 3319
RuntimeError: CUDA out of memory. Tried to allocate 12.74 GiB (GPU 0; 14.76 GiB total capacity; 1.19 GiB already allocated; 11.42 GiB free; 2.52 GiB reserved in total by PyTorch)
【踩坑】深度学习 Torch 爆显存的原因（显存不够用等问题）
weixin_37879562的博客
11-04 3万+
简介 在深度学习过程中，使用显卡的情况主要有两个过程：一、网络模型训练过程；二、网络模型测试过程。在这两个过程中，都可能存在爆显存或者爆内存的情况。在编程过程中，有很多同学应该都遇到这种情况，本文提供了针对这些问题的解决方案供大家参考。 正常情况下无论是训练还是测试，显卡占用的显存资源不会大范围波动。 情况1 训练过程中爆显存 在训练过程中，如果出现显存不够用的情况，可以先分析具体什么情况。 （1）如果瞬间爆掉显存，很大可能是因为显卡加载模型并载入训...
解决pytorch训练时正常测试时爆显存的问题
qq_34597253的博客
10-28 3529
问题： Runtime Error: CUDA out of memory. 解决方案： 1.降低batch_size, 有时候管用，有时候不管用 2. 测试时，with torch.no_grad() def early_test(self): with torch.no_grad(): self.model.eval() for path i...
【报错解决】深度学习模型训练时cuda内存足够但测试时反而报错cuda out of memory
小白冲鸭的博客
06-07 1294
第一行代码初始化模型，在cpu上进行，第二行代码，首先torch.load函数将模型参数加载到cpu上，然后model.load_state_dict函数加载模型到cpu上，第三行代码直接将整个模型放到gpu上，避免了重复加载模型参数，节省了gpu内存，就不会再造成cuda内存不够而报错了，第四行代码是将模型进行并行化处理，也就是说，如果你有多块gpu的话，这行代码可以将模型复制到多块gpu上进行并行化计算，当然如果你只有一块gpu或只有cpu，加了这行代码也没什么影响，不会报错。
pytorch训练模型内存溢出
yilvyangguang520的博客
11-23 463
pytorch训练模型内存溢出
windows pytorch解决两个GPU同时训练问题
03-28
最后，验证配置是否正确，可以通过简单的训练脚本测试两个GPU是否都被利用，观察内存占用和日志输出。如果有错误，可能需要检查CUDA_VISIBLE_DEVICES的设置，或者是否有端口冲突。 总结步骤：安装环境，编写脚本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值