RuntimeError: CUDA out of memory in pytorch

最新推荐文章于 2025-06-25 11:56:07 发布
最新推荐文章于 2025-06-25 11:56:07 发布
阅读量3.3k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wooooooc/article/details/95192083
作者在尝试使用Transformer时，遇到validate若干次后爆显存的问题。起初认为是参数或batch size过大所致，但未解决。经谷歌搜索，发现需添加特定内容停止自动反向计算梯度，否则积累的梯度会占显存。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天尝试了一下Transformer，一直遇到当validate若干次之后爆显存，一开始以为参数过多，batch size过大，但是无济于事。谷歌了相关内容，发现原来是需要加

with torch.no_grad():

否则，积累的梯度应该是会一直放在显存里的...用了这一行就会停止自动反向计算梯度

emmmmm，记录下又一个踩过的坑。。。。

Pytorch显存充足出现CUDA error:out of memory错误
Hungry_Shell的博客
08-17 1万+
Pytorch显存充足出现CUDA error:out of memory错误 Ref: https://www.cnblogs.com/jisongxie/p/10276742.html 报错内容 ![image.png](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAyMC9wbmcvNjAyMzUwLzE1OTc2NTM0ODcxMzktNDQ5N2JmZDItMzBhYi00NzMzLTg2ZD
PyTorch报错RuntimeError: CUDA out of memory的内存优化
shejizuopin的博客
05-20 582
在PyTorch模型训练中，RuntimeError: CUDA out of memory 是常见的显存不足错误，通常由模型规模过大、批量大小设置不当、数据类型选择不当等因素引起。本文提供了多种优化显存占用的方法，包括减小批量大小、简化模型结构、使用低精度数据类型、释放未使用的GPU资源、梯度累积、梯度检查点以及分布式训练。此外，PyTorch Profiler可用于深入分析内存使用情况，帮助开发者定位显存瓶颈。通过这些技巧，可以有效缓解显存不足问题，提升模型训练效率。
YOLOX 模型转换报错 [TensorRT] ERROR: runtime.cpp (25) - Cuda Error in allocate: 2 (out of memory)
zxy_96的博客
08-25 1382
YOLOX 模型转换报错 [TensorRT] ERROR: runtime.cpp (25) - Cuda Error in allocate: 2 (out of memory) 配置： ubuntu 18.04 pytroch 1.9.0 cuda10.0 cudnn 7.5.0 TensorRT 5.1.5 torch2trt 0.3.0 修改trt.py下max_workspace_size的大小
几种方案解决RuntimeError: CUDA unknown error - this may be due to an incorrectly set up environme
最新发布
frombuttom的博客
06-25 335
首先确认.bashrc中已经配置好基本的cuda环境。重启过短时间又会莫名其妙的失效。原理未知，亲测有效。
使用Pytorch训练模型出现RuntimeError: CUDA out of memory错误解决
qq_42391852的博客
12-25 9041
使用Pytorch训练模型出现RuntimeError: CUDA out of memory 训练： 由于GPU显存资源有限，训练输入的batchsize不能过大，过大会导致out of memory错误。 解决方案： 将batchsize减小，甚至是为1 测试时出现此问题解决方案： 在测试代码之前使用 with torch.no_grad(): ...
PyTorch——报错解决：RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 3.94 GiB total c
Williamcsj的博客
01-10 1万+
1、完整报错 RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 2.41 GiB already allocated; 5.70 MiB free; 2.56 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_si
pytorch解决RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 4.00 G
于笨笨的博客
03-17 2741
pytorch报错
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码：...
PyTorch报错RuntimeError: CUDA error: out of memory的显存优化
shejizuopin的博客
05-28 986
本文系统介绍了PyTorch中常见CUDA显存不足问题的解决方案。文章首先分析了显存溢出的四大原因：批量过大、模型复杂、显存碎片化及数据类型不当。随后提出包含8种具体措施的优化矩阵，涵盖基础策略（批量调整、梯度累积）、模型优化（剪枝量化、轻量模型）、高级管理（混合精度、显存监控）和数据优化（DataLoader配置、输入尺寸调整）。每种方法均附代码示例和性能对比数据，如混合精度训练可节省50%显存并提升速度10-20%。最后提供验证流程和常见问题解答，建议优化路径为：先调批量/梯度累积，再考虑模型轻量化，最
一文解决 RuntimeError: CUDA out of memory. 全网最全
热门推荐
m0_50502579的博客
07-29 9万+
RuntimeError: CUDA out of memory. Tried to allocate 50.00 MiB (GPU 0; 4.00 GiB total capacity; 682.90 MiB already allocated; 1.62 GiB free; 768.00 MiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to
【Pytorch】RuntimeError: CUDA out of memory 问题解决
你在说什么的博客
10-19 4万+
情况一： 显示free的内存足够，但是仍然报CUDA out of memory错误。 如（仅举例）：RuntimeError: CUDA out of memory. Tried to allocate 26.00 MiB (GPU 0; 10.73 GiB total capacity; 9.55 GiB already allocated; 199 MiB free; 19.44 MiB cached) 情况二： 报错 RuntimeError: cuDNN error: CUDNN_STATUS_I
解决问题:RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB
javahaoge的博客
02-11 6900
网络上常用的三种方法 方法一： 仅需减小batchsize 改文件的配置cfg的batchsize=1，一般在cfg文件下的查找batch或batchsize，将batchsize调小后，再次运行，类似于改下面 方法二 ： 上述方法还没解决，不改batchsize，可以考虑下面的方法的链接 不计算梯度： ps: 在报错的哪一行代码的上面，加上下面一行代码，不计算梯度 with torch.no_grad() 不计算梯度的方法 方法三： ...
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 1.96 GiB total capacity； 1.40
weixin_45955386的博客
11-26 2269
跑yolov4测试demo报错欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 with torch.no_grad(): 欢迎使用Markdown编辑器 RuntimeError: CUDA
RuntimeError: CUDA out of memory.Tried to allocate 20.00 MiB GPU 0 ,3.94 GiB total capacity 3.36 G
qq_32780465的博客
05-22 8694
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 3.94 GiB total capacity; 3.36 GiB already allocated; 13.06 MiB free; 78.58 MiB cached) 减小batch_size, 致敬这位老哥
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 23.65 GiB total capacity； 20.5
程西西
01-17 4157
torch遇到错误：RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 23.65 GiB total capacity; 20.53 GiB already allocated; 9.56 MiB free; 20.94 GiB reserved in total by PyTorch) 原因：应该是我使用的图数据集太大了，而且是一开始就全部怼到了cuda上，所以就内存不够了 解决方法： 参考链接 将批次迭代地发送到
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 11.17 GiB total capacity； 1.10
Tume233的博客
03-17 3344
服务器上跑程序，出现这种错误，大概是因为程序太大内存不够，有以下两种解决方式： 1、batch_size设置太大，改小一点 2、cuda节点被占用，可以指定其他节点，一种方式：程序里面写device = torch.device(‘cuda:0’ if torch.cuda.is_available() else ‘cpu’)，服务器里面写CUDA_VISIBLE_DEVICES=X；另一种方式：程序里面直接写os.environ[“CUDA_VISIBLE_DEVICES”] = “2,3” ...
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 14.82 GiB total capacity； 162.
qq_38148600的博客
10-28 715
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 14.82 GiB total capacity; 162.90 MiB already allocated; 21.50 MiB free; 176.00 MiB reserved in total by PyTorch) 14g可用，用了162m结果内存溢出，这是什么情况，这也太离谱了吧 ...
RuntimeError: CUDA out of memory.Tried to allocate 20.00 MiB
gyl1050097468的博客
09-22 1万+
最近遇见问题解决记录：RuntimeError: CUDA out of memory.Tried to allocate 20.00 MiB 大概总结了几种解决方法，大家可以试试： 1.将batchsize改小一些，直接改为1试试，如果可以了，再换回自己想要的size试试。我本身就是size设置为1的，试了很多方法，然后我尝试性的改为2，竟然就可以用了，大家可以多尝试几个size，不一定是更小的batch size。 2.参考了别人的回答 在报错哪一行前面加上下面两行：释放无关的内存： if hasat
RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0； 4.00 GiB total capacity； 2.44
华墨1024的博客
04-04 6万+
使用不计算梯度的方法解决RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 2.44 GiB already allocated; 0 bytes free; 2.45 GiB reserved in total by PyTorch)
RuntimeError: CUDA out of memory.
04-17
### CUDA Out of Memory 的解决方案 当遇到 `RuntimeError: CUDA out of memory` 时，可能的原因包括模型过大、批量大小设置过高、显存碎片化或其他资源占用问题。以下是几种常见的解决方法： #### 1. 减少批量大小（Batch Size） 较大的批量大小会显著增加显存需求。通过降低批量大小可以减少每次迭代所需的显存量： ```python batch_size = 32 # 原始值 new_batch_size = batch_size // 2 # 尝试减半 ``` 这种方法简单易行，但可能会稍微影响训练速度和收敛性能[^1]^。 #### 2. 使用梯度累积（Gradient Accumulation） 如果减少批量大小会影响模型效果，可以选择保持较小的批次并通过多次前向传播积累梯度后再更新权重： ```python accumulation_steps = 4 for i, data in enumerate(dataloader): outputs = model(data) loss = criterion(outputs, labels) loss /= accumulation_steps loss.backward() if (i + 1) % accumulation_steps == 0: optimizer.step() optimizer.zero_grad() ``` 这种方式可以在不改变学习率的情况下模拟更大的批处理效果[^2]^。 #### 3. 调整显存分配策略 有时显存碎片化可能导致可用空间不足以满足新请求。可以通过设置环境变量优化显存管理： ```bash export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128 ``` 此配置允许更细粒度地分割显存块，从而缓解因碎片化引发的问题[^3]^。 #### 4. 清理不必要的张量 确保释放不再使用的张量以及关闭自动求导机制以节省额外开销： ```python del some_tensor_variable torch.cuda.empty_cache() # 手动清理缓存中的无用数据 with torch.no_grad(): inference_operations_here() ``` #### 5. 利用混合精度训练（Mixed Precision Training） 借助 NVIDIA Apex 或者 PyTorch 自带的支持实现 FP16 计算模式能够大幅削减所需显存量： ```python from torch.cuda.amp import GradScaler, autocast scaler = GradScaler() for input, target in dataloader: optimizer.zero_grad() with autocast(): # 启用自动混合同步浮点运算 output = model(input) loss = loss_fn(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` 相比传统全精度方案，该技术不仅节约了约一半存储容量还加快了整体流程效率[^4]^。 #### 6. 更改可见设备范围 对于拥有多个 GPU 的机器而言，合理规划哪些卡参与作业有助于平衡负载并规避单一硬件负担过重的情况发生。利用 `CUDA_VISIBLE_DEVICES` 环境变量限定目标计算单元集合即可达成目的[^5]^。 --- ###
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值