pytorch在训练时，显示内存不够 cuda out of memory

最新推荐文章于 2025-05-20 08:25:13 发布

Carry陈

最新推荐文章于 2025-05-20 08:25:13 发布

阅读量3k

点赞数

分类专栏： pytorch 文章标签： python 机器学习深度学习

本文链接：https://blog.youkuaiyun.com/h4934560/article/details/121595814

版权

pytorch 专栏收录该内容

1 篇文章

订阅专栏

本文介绍在训练模型时遇到内存不足问题的常见情况，特别针对验证集数据量小但占用大量内存的情况，提出将验证集转移到CPU上的简便解决方案，以确保模型训练过程的顺利进行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在跑代码时，训练集跑的时候正常，在测试验证集和保存模型的时候，提示内存不够，直接报错终止，这种一般并不是batchsize过大导致的，不然训练集也运行不起来，最简单直接的方法，就是把验证集放到cpu上，一般验证集的数据比较小，也很快就完成了
例如：

imgn_val =Variable(imgn_val.cuda(), requires_grad=False)
out_val = torch.clamp(model(imgn_val), 0., 1.)

这里把验证集转到cpu里，去掉 .cuda()即可

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Carry陈

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

报错torch.OutOfMemoryError: CUDA out of memory...CUDA 内存溢出如何解决？

**My Coding Family**

05-24

704

🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！备注：部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。

Pytorch 训练与测试时爆显存(cuda out of memory)的终极解决方案，使用cpu(勿喷)

weixin_44493841的博客

05-12

6053

Pytorch 训练与测试时爆显存(out of memory)的终极解决方案，使用cpu(勿喷) 参见了很多方法，都没有用。简单点，直接把gpu设成-1

2 条评论您还未登录，请先登录后发表或查看评论

pytorch训练网络时内存不够问题

toro12306的博客

10-27

5991

最近写代码时遇到这个问题，研究了很久，最终还是解决了这个问题，这里放一下解决过程。由于我这里做的工作并不是完全基于神经网络的，只是利用了反向传播，所以我的前向传播并不同于传统的传播方式，即输入经过网络得到输出，我的输出是经过一个更新公式得到的，即经过此更新公式得到的输出就是神经网络的输出，所以问题也就出在这里。每次迭代时，输入经过更新公式前向传播，内存会泄漏一些，我开始并不知道这是什么原因，以为只是计算所产生的内存占用，这里是用pip installmemory_profiler安装的一个监视内存.

pytorch报错：RuntimeError: CUDA out of memory.（CUDA内存不足）

qq_35091353的博客

05-20

2万+

查看GPU的运行状况程序运行中可以通过watch -n 0.1 -d nvidia-smi命令来实时查看GPU占用情况，按Ctrl+c退出通过nvidia-smi命令来查看某一时刻的GPU的占用情况 1、训练阶段如果是训练时遇到该问题，说明模型的参数太多了，将模型的参数减少该问题就解决了，改小batch_size是不能解决的（我将batch_size设为1都没解决，而且报错时的内存数据都没变），因此，出现这个问题，应该有三个原因： GPU还有其他进程占用显存，导致本进程无法分配到足够的显存缓

使用PyTorch训练模型时，常会遇到GPU显存不足的问题.GPU 0 has a total capacity of 23.64 GiB of which 1.61 GiB is free. Pro

litchi0_0的博客

03-10

1148

模型微调

Pytorch内存优化方法，显著提升模型训练batch_size，减少out of Memory错误发生

Pinkgranite86的博客

04-03

5873

目录1.可能的条件下，尽量使用in_place实现2.Pytorch的 ‘checkpoint’3.删除loss等不再被需要的值，释放对应的空间4. 混合精度训练参考资料：知乎讨论； pytorch论坛；官方文档； 1.可能的条件下，尽量使用in_place实现使用in_place操作使得Pytorch的allocator不会记录该部分的原tensor，从而减少显存的消耗。也正是因为如此，如果在网络反向计算梯度的过程中需要用到原tensor，那么就不能够使用in_place操作，否则会使得反向传播报

神经网络测试的时候，Gpu内存不够了，咋整呢？？？？

szllove优快云的博客

08-18

1053

解决方法：由于xxx.pth是在GPU上训练出来的，所以在使用cpu加载时就要从GPU映射到cpu上，即在torch.load（“xxx.pth”）中添加"map_location=torch.device(“cpu”)"即可，也就是最终改为：torch.load（“xxx.pth”，map_location=torch.device(“cpu”)）,程序就可以正常运行了。这是由于你使用的是在GPU上训练出的模型参数，但是在cpu上测试时并没有将该模型参数映射到cpu上。...

【笔记】训练神经网络时解决显存不足的办法：核常兼备，常：减少参数规模；核：减少参数大小

nyist_yangguang的博客

09-10

1698

常规方法1：常规方法2： GitHub - gpleiss/efficient_densenet_pytorch: A memory-efficient implementation of DenseNetsmodel2GitHub - mapillary/inplace_abn: In-Place Activated BatchNorm for Memory-Optimized Training of DNNs 删除loss： Tensor to Variable an...

Pytorch GPU显存充足却显示out of memory的解决方式

09-18

在使用PyTorch进行深度学习模型训练时，有时会遇到一个常见的问题，即GPU显存充足，但在运行过程中却报出“out of memory”错误。这种情况可能会让人困惑，因为直观上，既然显存足够，就不应该出现这样的问题。本文...

PyTorch报错RuntimeError: CUDA out of memory的内存优化

最新发布

shejizuopin的博客

05-20

485

在PyTorch模型训练中，RuntimeError: CUDA out of memory 是常见的显存不足错误，通常由模型规模过大、批量大小设置不当、数据类型选择不当等因素引起。本文提供了多种优化显存占用的方法，包括减小批量大小、简化模型结构、使用低精度数据类型、释放未使用的GPU资源、梯度累积、梯度检查点以及分布式训练。此外，PyTorch Profiler可用于深入分析内存使用情况，帮助开发者定位显存瓶颈。通过这些技巧，可以有效缓解显存不足问题，提升模型训练效率。

解决Pytorch 训练与测试时爆显存(out of memory)的问题

09-18

在使用PyTorch进行深度学习模型的训练和测试过程中，可能会遇到“显存溢出”（Out of Memory，OOM）的问题。这个问题通常是由于GPU内存不足以存储所有计算所需的张量而导致的。以下是一些解决PyTorch训练与测试时...

解决：在验证阶段，第一个batch不会报错，第二个batch报cuda超出的错误

weixin_43723625的博客

08-17

984

问题描述：如果训练代码中不加入验证阶段。程序能够正常执行，不会出现下面cuda超出的现象。但是，如果用epoch=1阶段结束后的模型去执行验证阶段，会出现验证集的第一个banch不会报错，但是执行第二个batch时，会提示cuda超了。原因可能是由于梯度在验证阶段不回传，造成梯度的累计。解决办法：把生成代码加入with torch.no_grad()：内，来取消验证阶段的loss with torch.no_grad(): # 由于梯度在验证阶段不回传，会造成梯度的累计，所以需要加上这句

解决提示CUDA内存不够、GPU占内存不放的问题-python

枫的博客

04-24

1万+

解决提示CUDA内存不够、GPU占内存不放的问题解决GPU运行代码时提示CUDA内存不够的问题 1.内容：解决代码已经停止运行，GPU仍占着不放的问题。如程序已经停止运行，在运行其他程序时提示：GPU：RuntimeError: CUDA out of memory. 2.实现步骤：打开dos窗口（windows+R键）输入nvidia-smi命令获取GPU信息查看运行的processor 关掉正在运行的processor，taskkill -PID 进程号 -F。例如：taskkill -

显存充足，pytorch却报错CUDA out of memory？(已解决)

热门推荐

weixin_45914748的博客

11-25

2万+

明明显存充足，但是train的时候总是提示“CUDA out of memory”。注意！这里的allocated是你自己程序所占用的，我之前理解错了，以为是被别人占用的（然而并没有其他进程）。

【PyTorch distributed】多卡训练原理简析与RuntimeError: Expected to mark a variable ready only once.报错分析

weixin_44839047的博客

05-19

4468

当一个bucket中的所有hook都被触发，意味着这个bucket中的变量的梯度都已经计算得到，Reducer便立刻开启横跨所有进程的异步的梯度平均。此时由于不同rank的计算图不一样，没有任何一个bucket会ready，自然任何一个bucket的allreduce也不会被触发，Reducer虽然会在所有bucket变成ready后等待各自完成allreduce操作，但是当所有进程的backward()已经完成梯度的计算，Reducer将不会等待还未进入ready状态的bucket。得到不同的随机参数。

解决 pytoch CUDA out of memory 报错

qq_40937913的博客

05-22

624

项目场景： pytorch 在预测阶段的 CUDA out of memory 问题问题描述使用 pytorch 时，保存模型后，读入并预测新的大量数据，会出现 CUDA out of memory ，哪怕 batch_size = 1 原因分析：累计的梯度计算 number_workers过大解决方案：调用方法时，不使用梯度计算调小torch.utils.data.DataLoader方法中的 number_workers参数即可 ...

关于Pytorch训练过程中CUDA out of Memory问题

RIU_13的博客

02-14

732

训练过程中显存持续增长后爆了，报错CUDA out of Memory

pytorch超出内存的常见解决办法

qq_33289694的博客

01-10

7542

pytorch超出内存的常见解决办法

pytorch模型提示超出内存模型提示超出内存runtimeerror: cuda out ofmemory

05-10

在深度学习中，经常会出现模型提示超出内存的情况。这时候我们需要针对性的进行处理，以避免因此导致程序无法运行，或者出现质量问题。如果你在使用PyTorch训练模型时遇到了这种情况，那么你就要考虑调整你的模型大小以适应内存。通常有以下几种方法： 1. 减小模型结构：你可以尝试减小模型的深度或者宽度来减小模型的内存占用。可以使用nn.Sequential()方法来搭建较为简单的模型。 2. 减小batch size：每个 batch size 需要的内存往往是巨大的，适当减小 batch size 可以降低内存占用。为了避免梯度爆炸，应该增加梯度累积（gradient accumulation）的次数。 3. 使用较小的输入尺寸：将输入图像的尺寸缩小一些，可以降低内存占用。 4. 分布式训练：使用多个GPU同时训练模型，可以使模型占用的内存减小。在使用 PyTorch 训练模型时，如果出现 `cuda out of memory` 错误，需要通过上述方法进行适当的调整。同时，根据错误的提示信息，可以考虑也对硬件配置进行升级，提高内存大小和速度，从根本上解决问题。