CUDA out of memory解决方法

最新推荐文章于 2025-05-23 21:41:08 发布
最新推荐文章于 2025-05-23 21:41:08 发布
阅读量1.7k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lemonade_117/article/details/107575966
版权
lemonade117
关注
出现 CUDA out of memory 的解决方法
码农研究僧的博客
11-13 9173
（我的网络调整不可行，但是你们可试试这个方法排查），可能有些人可以调整。既然网络过大，调整其batch_size，让其变小即可（需要是2的倍数），减少原本需要 requires_grad=True 的计算的内存消耗。这个方法坏处是精度准确度可能会被影响，甚至减少后，反向传播期间会溢出。类似以下代码，将其调整为64、32、16、8、4、2之类的。如果你有更加合适的方法 或者 执行哪一步成功了，欢迎评论。不需要计算前向和后向阶段的梯度（不使用 GPU 内存）测试预训练过程中，不计算梯度训练，减少显存的使用。
报错torch.OutOfMemoryError: CUDA out of memory...CUDA 内存溢出如何解决？
最新发布
**My Coding Family**
05-24 737
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
CUDA out of memory
兴趣使然的创作者
05-29 1006
在训练深度学习模型时，我遇到了这个bug CUDA out of memory 这个bug意思就是显存不足，有两种办法可以解决。 1、杀死线程 具体操作可参见 杀死GPU线程 2、减小batch-size 这个比较容易修改 batch-size即每次读进显存的数据（批）数量 例如，我之前的batch-size为12，导致显存不足，修改为8，顺利运行。 当然，这样修改也会导致训练速度变慢，因此具备一块好显卡是很有必要的。 ...
CUDA：out of memory的解决方法（实测有效）
大摆王的博客
05-08 8681
CUDA out of memory问题通常发生在深度学习训练过程中，当GPU的显存不足以容纳模型、输入数据以及中间计算结果时就会触发。：深度学习模型尤其是大型模型，如Transformer或大型CNN，拥有大量的参数，这些参数在训练时需要被加载到GPU显存中。同时，如果批量大小（batch size）设置得过大，一次性处理的数据量也会增加，进一步加大显存的负担。
CUDA out of memory（CUDA显存不足）
热门推荐
yangyalun的博客
07-21 1万+
1.查看CUDA使用情况。 在C:\Program Files\NVIDIA Corporation\NVSMI位置打开命令行，然后输入nvidia-smi.exe -l 1，可每秒更新CUDA使用情况，如图所示。 2.本机的CUDA显存为2048MiB，当前使用为67MiB，运行模型后，发现当前CUDA使用情况超过2048MiB，解决方法为减小batch_size的大小（减小后结果可能会变差），若减小batch_size后CUDA显存还是不足或者是结果很差，那么就放弃使用GPU，使用CPU就行了。
Cuda out of memory
qq_42371462的博客
03-21 1677
前言 我一定要说下我这个心酸的历史啊！！！事情是这样的，我通过东拼西凑得到了一个模型，在一个数据集上一跑，哟，效果还不错，磨刀霍霍准备在其它数据集上试试效果啊。结果你猜怎么着，呵，out of memory。接下来就是我心酸的解决历史了。 问题 所有的前提都是基于这个out of memory的数据集哈。 我是训练过程中没有问题，一验证就out of memory.首先我当然是上网查询原因啦，很多人都说用下面的方法： 将模型改为eval()模式 并且使用with torch.no_grad(): model
大模型训练中CUDA out of memory的几种解决方法
smartcat2010的博客
05-26 1899
2. 如果需要较大的batch size来达到预期训练指标效果，则使用gradient accumulation来累积梯度，达到等价效果的同时，占用显存小；6. 缓解PyTorch的显存碎片；PYTORCH_CUDA_ALLOC_CONF和max_split_size_mb。3. 使用低精度做训练。torch.cuda.empty_cache()10. 使用nvidia-smi看到该GPU上的其他进程；9. Model并行或者Pipeline并行，把模型拆分至多卡。4. 减小训练数据样本的长度。
CUDA out of memory 报错解决方案
m0_47867419的博客
04-24 6035
介绍了CUDA out of memory的一种解决办法
怎么解决torch.OutOfMemoryError: CUDA out of memory？？
**My Coding Family**
05-23 1039
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
CUDA：out of memory
羊藤枝的博客
07-18 2445
记录一下，在利用GPU训练maskRCNN 过程中遇到的一个小问题， CUDA：out of memory 这个问题主要是由于GPU上显存不够引起的，由于我在服务器上跑的，因为有其他人同时在用这块GPU,所以导致显存不够. 首先查看GPU的运行情况，linux系统，在终端输入： watch -n 0.2 nvidia-smi window系统，在文件夹C:\Program Files\NVID...
CUDA：out of memory问题
phmatthaus的专栏
08-19 1373
基于UCSD-AI4H/COVID-CT进行训练时，出现以下错误： RuntimeError: CUDA out of memory. Tried to allocate 98.00 MiB (GPU 0; 2.00 GiB total capacity; 1.53 GiB already allocated; 9.93 MiB free; 1.55 GiB reserved in total by PyTorch) 解决方法： ...
RuntimeError: CUDA out of memory
qq_46600553的博客
07-29 1万+
报错内容： RuntimeError: CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0; 2.00 GiB total capacity; 1.34 GiB already allocated; 14.76 MiB free; 1.38 GiB reserved in total by PyTorch) 查资料的过程发现另一种报错： RuntimeError: CUDA out of memory. Tried to allocate 12.50
cuda out of memory，怎么解决
04-16
### CUDA内存不足的解决方案 当遇到 `CUDA out of memory` 的错误时，通常是因为显存在运行过程中被耗尽。以下是几种常见的解决方法： #### 1. 减少批量大小（Batch Size） 较大的批量大小会显著增加显存需求。可以通过降低批量大小来减少显存消耗。例如，在训练神经网络时，如果当前批量大小为64，则可以尝试将其减半至32或更低。 ```python batch_size = 32 # 将原始批量大小调整至此值 ``` 这种方法简单有效，但可能会稍微影响模型收敛速度和最终性能[^1]。 #### 2. 使用梯度累积（Gradient Accumulation） 通过梯度累积技术可以在不改变批量大小的情况下模拟更大的批次效果。具体做法是在多个前向传播和反向传播步骤之间积累梯度，并仅在达到一定次数后再执行参数更新。 ```python accumulation_steps = 4 # 定义梯度累积步数 for i, data in enumerate(dataloader): outputs = model(data) loss = criterion(outputs, labels) loss = loss / accumulation_steps # 平均每次迭代中的损失 loss.backward() if (i + 1) % accumulation_steps == 0: # 每隔几个step进行一次权重更新 optimizer.step() optimizer.zero_grad() ``` 此策略允许使用较小的实际批尺寸而获得较大逻辑批的效果[^2]。 #### 3. 清理未使用的张量变量 有时程序中可能存在一些不再需要但仍占据着显存空间的对象。利用Python的垃圾回收机制手动清理这些对象有助于释放部分资源。 ```python import gc gc.collect() # 调用垃圾收集器清除无用对象 torch.cuda.empty_cache() # 特定于PyTorch的操作以清空缓存 ``` 定期调用以上命令可以帮助管理可用显存量[^3]。 #### 4. 启用混合精度训练（Mixed Precision Training） 采用FP16而非默认FP32来进行计算能够节省大约一半的显存开销。然而需要注意的是并非所有硬件都支持这种模式；另外还需要确保数值稳定性不受损害。 ```python from torch.cuda.amp import autocast, GradScaler scaler = GradScaler() with autocast(): output = model(input) loss = criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` 启用自动混合精度功能可进一步提升效率并缓解显存压力[^4]。 #### 5. 配置环境变量优化分配行为 适当配置PYTORCH_CUDA_ALLOC_CONF环境变量能改善内存碎片化状况从而提高利用率。 ```bash export PYTORCH_CUDA_ALLOC_CONF="max_split_size_mb:<value>" ``` 其中<value>应依据实际情况设定合理数值以便更好地控制最大分割块大小防止过度分片[^5]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值