pytorch 训练正常,测试显存爆掉问题解决

最新推荐文章于 2024-10-22 20:43:27 发布
原创 最新推荐文章于 2024-10-22 20:43:27 发布 · 6.7k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Pytorch

在使用PyTorch进行模型训练时一切正常，但在模型预测阶段出现GPU内存溢出问题，错误信息提及显存爆掉。问题可能与PyTorch版本0.4.0和cuDNN版本7.0.1有关。为解决此问题，可以参考相关链接寻找临时解决方案。

pytorch 训练正常,测试显存爆掉问题解决

Intro

pytorch gpu out of memory when test the model

pytorch version

0.4.0

cudnn version

7.0.1

pytorch训练正常但是在预测的时候显存爆掉,错误信息如下

RuntimeError: CUD
最低0.47元/天 解锁文章
pytorch训练与测试爆显存问题的解决
juluwangriyue的博客
11-27 5388
解决Pytorch 训练与测试时爆显存(out of memory)的问题 Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of memory" in str(excep
Pytorch 训练与测试时爆显存(out of memory)的一个解决方案
xiaoxifei的专栏
11-23 6万+
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: output = model(input) except RuntimeError as exception: if "out of...
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
今天小编就为大家分享一篇解决Pytorch 训练与测试时爆显存(out of memory)的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
PyTorch 显存爆炸｜RuntimeError: CUDA out of memory. 如何排查问题？
热门推荐
weixin_44935658的博客
10-09 8万+
可以看到这个机子有两张A5000，第一张卡显存是23953MiB / 24564MiB，快用完了，第二张是 18372MiB / 24564MiB，还有一点可以用。两个不同设备上的tensor运算，这个错误一般torch会报错的，但是也有非常隐晦的情况，比如不指明在哪个设备上的常量，需要手动发现。到了要检查代码这一步首先是看batch_size，但如果batch_size太大了应该是一个epoch都跑不了，在前向传播的时候甚至前向传播之前就会出问题了。，一般我会在命令行指定卡，而不是代码里。
【报错解决】深度学习模型训练时cuda内存足够但测试时反而报错cuda out of memory
小白冲鸭的博客
06-07 1467
第一行代码初始化模型，在cpu上进行，第二行代码，首先torch.load函数将模型参数加载到cpu上，然后model.load_state_dict函数加载模型到cpu上，第三行代码直接将整个模型放到gpu上，避免了重复加载模型参数，节省了gpu内存，就不会再造成cuda内存不够而报错了，第四行代码是将模型进行并行化处理，也就是说，如果你有多块gpu的话，这行代码可以将模型复制到多块gpu上进行并行化计算，当然如果你只有一块gpu或只有cpu，加了这行代码也没什么影响，不会报错。
Pytorch训练测试时如何避免显存溢出
最新发布
07-03
在使用 Pytorch 进行模型训练过程中，有时会遇到显存不足的情况，这通常是由于加载了过多的数据或模型结构过于庞大导致的。当出现显存不足时，如果模型不是特别庞大，可以通过一些清理技术来解决。比如使用 torch....
pytorch训练时显存溢出
qq_45023582的博客
03-09 2411
训练时训练次数增加发生显存爆炸
【PyTorch笔记】训练时显存一直增加到 out-of-memory？真相了！
u010522887的专栏
07-28 4812
Pytorch 训模型的过程中，发现总是训练几轮后，出现显存爆炸 out-of-memory 的问题，记录这次 debug 之旅，希望对有类似问题的小伙伴有一点点帮助
解决网络训练正常、测试显存爆炸的问题（model.eval()和torch.no_grad()的区别）
LJC的博客
07-27 5283
问题分析： 网络训练时正常，但测试中途却出现显存爆炸时。训练网络基本快占满了一张卡，这样测试时是有可能会显存爆炸。因为可能由于某张图测试的时候需要更大的显存，图像输入偏大等不确定因素。但测试的时候可以以更少的显存进行测试的。那就是使用**with torch.no_grad()**语句。测试代码修改大体如下所示： for i, image in enumerate(testLoader): # ...... (省略代码) with torch.no_grad(): # 主要将网络部分置于此即可
pytorch训练解决显存爆炸问题
zhangqiqiyihao的博客
05-08 5586
1.torch.cuda.empty_cache() 每轮epoch后加这个代码实测没有用 2.存储loss时将loss改为loss.item()，问题解决。 loss_list=[] 在我的代码中，在训练前建立了一个loss的list来存储每轮的loss，目的为了在N个EPOCH后绘制图像。 loss = criterion(outputs, dec_outputs.view(-1).reshape(-1,1)) optimizer.zero_grad() loss.backward() optimiz
DEBUG:pytorch训练时候没有问题，预测时候内存迅速增长，爆掉，out of memory的解决办法
Yolo_C的博客
06-03 2983
在使用pytorch训练模型的时候，训练时候，内存十分平稳，预测的时候迅速增长，报内存不足的错误 原始是忘记加no_grad 解决方法：在预测的时候，加with torch.no_grad() with torch.no_grad(): for i,batch in enumerate(test_loader): pass ...
目标检测——在训练PyTorch模型遇到显存不足的情况怎么办？(legecy)
墨门
03-09 7635
1 前言 在目标检测中，可能会遇到显存不足的情况，我们在这里记录一下解决方案； 2 如何减少PyTorch模型需要的显存 2.1 减小batch_size的数量 最小的数量可以设置为2； 2.2 可以减小分辨率 减小分辨率是节省显存的一种可行的做法，（但是南溪是不推荐这种做法的，如果实在显存不够，可以减小batch_size的大小，因为降低分辨率从本质上看，是对图像进行下采样，这样必然...
记pytorch的大坑之训练的显存不断攀升
xinong123456123的博客
10-26 2118
pytorch显存爆炸，loss.item()
Pytorch 训练与测试时爆显存(cuda out of memory)的终极解决方案，使用cpu(勿喷)
weixin_44493841的博客
05-12 6086
Pytorch 训练与测试时爆显存(out of memory)的终极解决方案，使用cpu(勿喷) 参见了很多方法，都没有用。 简单点，直接把gpu设成-1
pytorch训练时候没有问题，预测时候内存迅速增长，爆掉，out of memory的解决办法
qq_55736201的博客
10-22 465
的主要作用是在指定的代码块中暂时禁用梯度计算，进行推理时，我们不需要计算梯度，只关心模型的输出。在预测的时候，加with。
【踩坑】深度学习 Torch 爆显存的原因（显存不够用等问题）
weixin_37879562的博客
11-04 3万+
简介 在深度学习过程中，使用显卡的情况主要有两个过程：一、网络模型训练过程；二、网络模型测试过程。在这两个过程中，都可能存在爆显存或者爆内存的情况。在编程过程中，有很多同学应该都遇到这种情况，本文提供了针对这些问题的解决方案供大家参考。 正常情况下无论是训练还是测试，显卡占用的显存资源不会大范围波动。 情况1 训练过程中爆显存 在训练过程中，如果出现显存不够用的情况，可以先分析具体什么情况。 （1）如果瞬间爆掉显存，很大可能是因为显卡加载模型并载入训...
Pytorch 测试阶段显存溢出
weixin_41514525的博客
02-07 1422
Pytorch模型训练的测试阶段, 显存溢出，训练阶段并没有显存溢出，原因: 没有使用 with torch.no_grad()，model.eval()只是使dropout和bn不工作，并不能产生torch.no_grad()的效果 with torch.no_grad(): 测试阶段代码 ...
【突然科研】解决分布式训练时突然断开并报错
weixin_44398263的博客
04-13 969
今天在训模型时突然报错 查了一下可能是内存问题，但有观察显存一直是比较稳定的。请教了一下群里的大佬可能是cpu内存不足，进程被系统杀掉。因为终端没有输出详细报错信息，大佬建议我去/var/log下查系统日志【凡是被系统kill的都会写进系统日志里的】 通过命令 sudo egrep -i -r 'killed process' /var/log 或者用专门的dmesg sudo dmesg|grep -i kill | less 查到： 果然是内存不足被杀了，然后top看了一下果然cpu被占满了
windows pytorch解决两个GPU同时训练问题
03-28
最后，验证配置是否正确，可以通过简单的训练脚本测试两个GPU是否都被利用，观察内存占用和日志输出。如果有错误，可能需要检查CUDA_VISIBLE_DEVICES的设置，或者是否有端口冲突。 总结步骤：安装环境，编写脚本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值