Pytorch训练out of memory

最新推荐文章于 2025-02-20 20:57:04 发布
最新推荐文章于 2025-02-20 20:57:04 发布
阅读量1.1k 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Bear_Kai/article/details/105238895
版权
本文探讨了PyTorch中两种常见的CUDA内存溢出错误，并提供了有效的解决方案，包括调整模型大小、减少批量大小、修改pin_memory设置等。同时，深入解析了pin_memory（锁页内存）的作用及其在内存管理中的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

两类内存报错：

  1. RuntimeError: cuda runtime error (2) : out of memory ...
  2. RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB ...

对于第一种：pytorch版本升级、避免中间变量累积、pin_memory置False …
对于第二种：batchsize调小、选小模型…

其他： 同样的代码，在服务器的0, 1号GPU上可运行，在2, 3号上不能运行，在2号GPU上单独可以运行，在其他服务器上可以运行…
最后，从bug的traceback中启发，跟pin_memory有关，由True改为False即可，顺道查看了pin_memory（锁页内存）的概念： 1，2。

Pytorch 神经网络（ out of memory )
科研学习笔记！
01-13 2104
一、从头开始训练的时候正常，大概占了4/5的显存容量，然后中断了， 再resume 就会出现out of memory ？ 因为你 load checkpoint 的时候把参数加载到 显存 里面了；而且大概率你的code是这么写的然后报的错： model = Network().cuda() # 这里如果你存下来的权重device在cuda上，那么将自动载入GPU; 此时 model在GPU...
pytorch出现CUDA error:out of memory错误
weixin_43979925的博客
04-10 5310
pytorch出现CUDA error:out of memory错误问题描述解决方案 问题描述 模型训练过程中报错，提示CUDA error:out of memory。 解决方案 判断模型是否规模太大或者batchsize太大，可以优化模型或者减小batchsize； 比如： 已分配的显存接近主GPU的总量，且仍需要分配的显存大于缓存（306M>148.3M）。 cached（...
pytorch 解决out of memory
xiaoliyi185的博客
06-23 2549
主要是针对指定了两片GPU，但默认使用第一块的问题。 我在用pytorch跑程序的时候，由于代码比较大，需要用两块板子。但无论是在代码中加入 os.environ['CUDA_VISIBLE_DEVICES'] = '0,1' 还是 直接在命令行输入 CUDA_VISIBLE_DEVICES='0,1' python train.py 都无法解决问题。后来发现应使用 torch.nn.DataParallel这个函数,具体用法如下所示： #自动选择GPU model = nn.DataParallel(
pytorch OutOfMemoryError
power的专栏
01-11 929
before:after:ok....看到这个提示，表示您的GPU内存不足。由于我们经常在PyTorch中处理大量数据，因此很小的错误可能会迅速导致程序耗尽所有GPU;好的事，这些情况下的修复通常很简单。
PyTorch 深度学习框架中 torch.cuda.empty_cache() 的妙用与注意事项
最新发布
叶庭云 成为自己的光
02-20 1587
PyTorch 深度学习框架中 torch.cuda.empty_cache() 的妙用与注意事项
PyTorch out of memory 解决方案
私人天地
05-06 5676
如果模型在运行了一些时间后出现的outofmemory，那么有可能是因为无用的临时变量太多了，我们需要使用torch.cuda.empty_cache()进行清理就可以了。 try: loss, outputs = model(src, lengths, dec, targets) except RuntimeError as e: if 'out of memory' in ...
pytorch out of memory while validation
Hi_Bitch的博客
12-06 540
使用pytorch0.4框架，在train的时候不会报错，在validation时候报错out of memory错误。 解决方法： 在train过程前需要设置如下： torch.set_grad_enabled(True) # switch to train mode model.train() 在validation过程前需要设置如下： # In PyTorch 0.4, "v...
解决Pytorch 训练与测试时爆显存(out of memory)的问题
09-18
在使用PyTorch进行深度学习模型的训练和测试过程中，可能会遇到“显存溢出”（Out of Memory，OOM）的问题。这个问题通常是由于GPU内存不足以存储所有计算所需的张量而导致的。以下是一些解决PyTorch训练与测试时...
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
在使用PyTorch进行深度学习模型训练时，有时会遇到一个常见的问题，即GPU显存充足，但在运行过程中却报出“out of memory”错误。这种情况可能会让人困惑，因为直观上，既然显存足够，就不应该出现这样的问题。本文...
pytorch中out of memory该怎么解决
05-20
出现“out of memory”错误通常是由于模型和数据太大而导致的。以下是一些可能的解决方案： 1. 减少batch size。通过减少每次输入的样本数量，可以降低内存占用。尝试使用更小的batch size，直到不再出现“out of ...
pytorch中cuda out of memory问题
热门推荐
Acmer_future_victor的博客
12-05 2万+
在组会前一天遇到这个问题，试了各种解决办法都不可以，简直要疯辽，还等着实验结果做汇报呢…… RuntimeError: CUDA out of memory. Tried to allocate 486.00 MiB (GPU 0; 10.73 GiB total capacity; 8.78 GiB already allocated; 23.62 MiB free; 1.07 GiB cached) 就是这个问题，很奇怪，不知道那1.07GiB到底是什么占了，一样的超参数设置，之前从来没有遇到过这种问题
运行pytorch 显存充足却显示OOM（out of memory）
qq_45128278的博客
09-17 1562
因为我的代码对于CIFAR100和CUB200数据集用的是不同的resnet18，对于CIFAR100用的是专属的cifarresnet，修改了网络结构来适应CIFAR100数据集，所以在使用CUB200数据集的时候，–model 参数不能省略，因为代码里默认的超参数是cifarresnet，两者结构不一样。所以代码运行中，在前向传播的时候会报错，不过报错内容是Out of memory，此时可以从代码本身找找问题。显存容量剩下14000MB，但是我把代码的batchsize改成1也不能跑起来。
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
pytorch测试过程中out of memory解决方法
qq_30852205的博客
03-01 1725
在已经加入model.eval()情况下仍然没有解决，基本代码如下，因为需要计算test数据整体的评价结果，所以需要将probs存在list中，这会导致显存持续增加，故将probs等变量detach，如此测试时显存不再递增 model.eval() probs, labels, losses = [], [], [] for batch in self.batch_generator(): x,...
PyTorch中“CUDA out of memory”的调试笔记
墨门
01-10 701
1 问题描述 “RuntimeError: CUDA out of memory.”是PyTorch写作中常见的一种运行错误，这里我们将记录一下调试过程中发现的一些解决方案； 2 解决方案 2.1 模型较大——可以降低batch_size 一种常见的原因就是模型的参数量较多，此时降低batch_size是一种可行的方法 2.2 读取loss值时没有使用item()函数 这是我之前在写作中出现的一个错误，我需要使用loss值作为训练过程时的输出，不过在取的张量的值之后，没有只用item()函数，而是直接用in
win10跑Pytorch模型出现RuntimeError: CUDA out of memory的解决方法
Ztomepic的博客
12-29 3137
Kaggle官方提供的GPU频繁断开，被迫在自己的机器上跑Kernal，显卡是贫民配置1050TI，显存4GB。训练无法开始，直接报错RuntimeError: CUDA out of memory，尝试多种方法后解决，现在能够龟速训练了。 1.修改Dataloader中的num_worker参数为0（似乎仅针对windows系统下） 2.缩小batch_size 3.把训练的代码块放入if __...
解决 pytoch CUDA out of memory 报错
qq_40937913的博客
05-22 621
项目场景： pytorch 在 预测阶段的 CUDA out of memory 问题 问题描述 使用 pytorch 时，保存模型后，读入并预测新的大量数据， 会出现 CUDA out of memory ，哪怕 batch_size = 1 原因分析： 累计的梯度计算 number_workers过大 解决方案： 调用方法时，不使用梯度计算 调小torch.utils.data.DataLoader方法中的 number_workers参数即可 ...
Pytorch 训练与测试时爆显存(out of memory)的一个解决方案
junmuzi的专栏
07-30 8495
Original url: https://blog.youkuaiyun.com/xiaoxifei/article/details/84377204 Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。 使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下： try: ...
Keras学习︱训练时显存out of memory的解决办法——fit_generator函数
Britesun的博客
08-24 3263
keras默认情况下用fit方法载数据，就是全部载入。换用fit_generator方法就会以自己手写的方法用yield逐块装入 问题分析：fit()函数训练时，将全部训练集载入显存之后，才开始分批训练。显然很容易就超出了12G 解决办法：用fit_generator函数进行训练 fit_generator函数将训练集分批载入显存，但需要自定义其第一个参数——generator函数，从而分批...
pytorch cuda out of memory
06-28
4. 使用分布式训练：使用多个 GPU 进行分布式训练，以减少每个 GPU 的内存使用。 5. 使用梯度累积：将多个小批次的梯度累积到一个大批次中，以减少每个批次的内存使用。 希望这些方法能够帮助您解决 PyTorch CUDA ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值