YOLOX训练：显存足够，但依旧CUDA out of memory（Tried to allocate 5.58 GiB，8.00 GiB total capacity，6.40 GiB free）

最新推荐文章于 2024-07-03 23:53:19 发布
原创 最新推荐文章于 2024-07-03 23:53:19 发布 · 2w 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #目标检测 #pytorch #计算机视觉 #人工智能

博主在尝试训练YOLOX_S模型时遇到了CUDA内存溢出问题，无论调整batch_size大小都无法避免。已尝试加载预训练权重和不加载权重，但都报相同的错误。检查显示GPU显存未被其他进程占用。尝试了关闭优化选项(-o)和运行CUDA测试代码，但问题依旧。目前怀疑需要深入修改训练配置或检查环境设置。

问题已经解决，请参考以下博文：
https://blog.youkuaiyun.com/ELSA001/article/details/120918082?spm=1001.2014.3001.5501

刚刚我尝试训练自己的yolox_s模型，但我batch_size不管改成多少，甚至改成1，都直接报CUDA out of memory，我很苦恼，这里明明显示我的显存是足够的，但是依旧OOM。
训练命令如下：

(mypytorch) E:\YOLOX>python tools/train.py -f exps/example/yolox_voc/yolox_voc_s_bm.py -d 1 -b 2 --fp16 -o -c weights/yolox_s.pth

我在这里加载了GitHub的预训练权重文件：yolox_s.pth

报错图片如下：
在这里插入图片描述

RuntimeError: CUDA out of memory. 
Tried to allocate 5.58 GiB (GPU 0; 8.00 GiB total capacity; 
43.62 MiB already allocated; 6.40 GiB free;
8.00 GiB allowed; 64.00 MiB reserved in total by PyTorch)

如果不加载预训练权重文件：
训练命令如下：

(mypytorch) E:
最低0.47元/天 解锁文章
成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0； 2.00 GiB to
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-02 2万+
​ 成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0; 2.00 GiB total capacity; 1.67 GiB already allocated; 0 bytes free; 1.67 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_s
显存充足，但提示CUDA out of memory
YasmineC的博客
08-12 7632
详细错误如下： RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 1; 23.70 GiB total capacity; 21.69 GiB already allocated; 26.81 MiB free; 22.00 GiB reserved in total by PyTorch) 认真阅读这个错误后，就去查看了GPU 1，发现显存充足： 但是这里的显存充足，可能并不是真的充足，我每次查看显存时，都是在程序崩掉
yolo v2 训练自己数据集遇到的问题
jozeeh的博客
11-27 4449
1.CUDA Error: out of memory darknet: ./src/cuda.c:36: check_error: Assertio `0' failed. 需要修改所使用的模型cfg文件中的subdivision的参数。 由subdivisions=8改成subdivisions=64。 subdivision：这个参数很有意思的，它会让你的每一个ba
显卡显存充足，但是报错：CUDA error: out of memory
惊魂呓梦的博客
08-15 5668
显卡显存充足，但是报错：CUDA error: out of memory
找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]
椰子奶糖的博客
02-03 3万+
说明: 系统：Centos（Redhat） 环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu） Cuda：9.2 Cudnn：7.0.6？ 模型 YOLOv3 描述 图找不到了，就去隔壁偷了一张（传送） 在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDA error:out of memory 隔壁说是找不...
显存充足 RuntimeError: CUDA error: out of memory
AsajuHuishi的博客
11-05 4542
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。 我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory 首先nvidia-smi，发现0卡显存充足。 然后查看之前的日志，发现打印的变量在1卡上。 这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。 修改测试代码即可，将 checkpoint .
显存充足，但出现CUDA error:out of memory的错误解决
aaazym的博客
11-23 1222
试了网上的一些方法都仍然报这个错误，后来试着把config里的data_num_workers从4改成了0，就可以运行了。我暂时也还不知道是什么原因，之前设置为4的时候是可以跑通的，今天再运行就出错了。
RuntimeError: CUDA out of memory. Tried to allocate 2.00 GiB (GPU 0； 23.65 GiB total capacity； 15.63
weixin_44012667的博客
07-03 948
一文解决 RuntimeError: CUDA out of memory. 全网最全_runtimeerror: cuda error: out of memory-优快云博客。
解决：RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 0； 4.00 GiB total capacity； 2
universe_R的博客
05-03 3万+
引发pytorch：CUDA out of memory错误的原因有两个： 1.当前要使用的GPU正在被占用，导致显存不足以运行你要运行的模型训练命令不能正常运行 解决方法： 1.换另外的GPU 2.kill 掉占用GPU的另外的程序（慎用！因为另外正在占用GPU的程序可能是别人在运行的程序，如果是自己的不重要的程序则可以kill） 命令行中输入以下命令，可以查看当前正在GPU运行的程序： nvidia-smi 再根据上面显示的正在运行程序的PID，输入以下查看进程的命令，可以查看到进程的相关信息，包括
解决：RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0； 2.00 GiB total capacity； 1
热门推荐
地中海の养成记
01-31 6万+
1. 问题2. 分析3. 解决 1. 问题 训练模型时报错： RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 2.00 GiB total capacity; 1.49 GiB already allocated; 57.03 MiB free; 6.95 MiB cached) 2. 分析 这种问题，是GPU内存不够引起的 3. 解决 方法一： 换高性能高显存的显卡 方法二：修改代码 报错的训练代码为.
Pytorch GPU显存充足却显示out of memory的解决方式
09-18
今天小编就为大家分享一篇Pytorch GPU显存充足却显示out of memory的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
显存充足却提示out of memory(allocated memory try setting max_split_size_mb to avoid fragmentation)
睦生
10-28 1万+
在训练模型的过程中，遇到如下问题：显存有一半以上的空间却仍然报out of memory的错误。本文总结网上的相关解决方案，由于这些方案对本问题均无效，本文经过实践提出了一种新的解决方法。
记一次显存充足报CUDA out of memory 的错误
一直大萝北的萝北坑
08-23 999
显存充足 CUDA out of memory
YOLO训练模型提示“CUDA_ERROR_OUT_OF_MEMORY”
pts_mjt的博客
11-26 7190
编译好yolov3进行测试时报错 CUDA Error: out of memory darknet: ./src/cuda.c:36: check_error: Assertion `0' failed. 解决办法： 1.CUDA Error: out of memory darknet: ./src/cuda.c:36: check_error: Assertio `0' failed...
显存充足，pytorch却报错CUDA out of memory？(已解决)
weixin_45914748的博客
11-25 3万+
明明显存充足，但是train的时候总是提示“CUDA out of memory”。注意！这里的allocated是你自己程序所占用的，我之前理解错了，以为是被别人占用的（然而并没有其他进程）。
显存充足但是CUDA out of Memory报错解决_查看僵尸进程
qq_40349484的博客
09-13 5966
显存充足但是CUDA out of Memory报错解决_查看僵尸进程
Pytorch：测试保存训练模型时，显存充足，却提示cuda out of memory的问题
qq_45656271的博客
05-26 3225
在训练网络结束后，测试训练模型，明明显存还很充足，却提示我cuda out of memory 出现这种问题，有可能是指定GPU时出错（注意指定空闲的GPU），在排除这种情况以后，通过网上查找，说有可能是测试时的环境与训练时的环境不一样所导致，例如在网络训练时所使用的pytorch版本和测试时所使用的版本不同。由于我训练和测试用的同一虚拟环境，故排除这种情况。 还有一种说法，是因为pytorch的版本和cuda的版本不匹配所导致，经检查，也不是这方面的问题。 最后发现，在加载模型的时候，原代码为
明明显存足够但是报错CUDA out of memory的问题
m0_50317149的博客
08-15 1819
换个同样配置的电脑能跑，昨天还能跑今天突然跑不动了。错误显示Tried to allocate 64.00 MiB ，但是2Gib free，这里我就不配图了没有存，言下之意就是说我还有2GB空闲显存，但是加载64mb就报错了，这里空闲显存指的是已经去除pytorch预留显存的空闲现存。最后发现是环境问题，应该是由于昨天在开发的时候不知道加了什么模块进去导致的冲突，我一直又备份环境的习惯，把最初的环境重新放到anaconda的env中，删掉了有问题的环境，可以跑了。
显存充足，但是却出现CUDA error:out of memory错误
dengxuan21210547的博客
01-16 6196
之前一开始以为是cuda和cudnn安装错误导致的，所以重装了，但是后来发现重装也出错了。 后来重装后的用了一会也出现了问题。确定其实是Tensorflow和pytorch冲突导致的，因为我发现当我同学在0号GPU上运行程序我就会出问题。 详见pytorch官方论坛： https://discuss.pytorch.org/t/gpu-is-not-utilized-whil...
OutOfMemoryError: CUDA out of memory. Tried to allocate 706.00 MiB. GPU 0 has a total capacity of 8.00 GiB of which 0 bytes is free.
最新发布
07-12
在使用 CUDA 进行 GPU 计算时，遇到 `CUDA out of memory` 错误是较为常见的问题。该错误通常表明程序试图分配的显存超出了 GPU 的可用内存容量。以下是几种解决此类问题的方法： ### 1. 减小批量大小（Batch Size） 最常见的解决方案之一是减小训练或推理时的批量大小[^1]。较大的批量大小会显著增加显存需求，特别是在深度学习模型中。通过逐步减少批量大小，可以找到一个既能满足性能要求又不会导致显存溢出的值。 ```python # 示例：调整 PyTorch 中的数据加载器批量大小 from torch.utils.data import DataLoader data_loader = DataLoader(dataset, batch_size=32, shuffle=True) # 尝试将 batch_size 调整为更小的值 ``` ### 2. 检查并优化模型结构 某些模型结构可能会占用大量显存，尤其是在包含大量参数或复杂层的情况下。可以通过简化模型、移除不必要的层或使用更高效的网络架构来降低显存消耗[^1]。 ### 3. 使用混合精度训练 启用混合精度训练可以有效减少显存占用，并加速计算过程。NVIDIA 提供了 `apex` 库来支持这一功能，适用于 PyTorch 等框架。 ```python from apex import amp model, optimizer = amp.initialize(model, optimizer, opt_level="O1") # 启用混合精度 ``` ### 4. 清理缓存和释放无用内存 PyTorch 和 TensorFlow 等框架提供了清理缓存的功能。如果程序中存在未释放的中间变量，可以尝试手动调用垃圾回收机制或清除缓存。 ```python import torch torch.cuda.empty_cache() # 清空缓存中的未使用显存 ``` ### 5. 升级硬件或切换设备 如果当前 GPU 显存不足以支持任务，可以考虑升级到具有更大显存的 GPU 或者在 CPU 上运行部分任务。虽然 CPU 性能可能不如 GPU，但在调试或低负载场景下是一个可行的选择[^1]。 ### 6. 检查驱动和 CUDA 安装 确保 NVIDIA 驱动和 CUDA 工具包已正确安装，并且版本兼容。不正确的安装可能导致资源管理异常，进而引发显存不足的问题。如引用[3]所述，选择合适的驱动版本并避免重复安装冲突版本非常重要。 ### 7. 使用 `nvidia-smi` 监控显存使用情况 通过命令行工具 `nvidia-smi` 可以实时查看各个进程对 GPU 显存的占用情况，帮助定位是否存在其他占用显存的进程。 ```bash nvidia-smi -q -d MEMORY ``` ### 8. 分布式训练或多 GPU 并行 对于大规模模型，可以采用分布式训练或多 GPU 并行的方式，将模型或数据分片处理，从而降低单个 GPU 的显存压力。例如，在 PyTorch 中可以使用 `DataParallel` 或 `DistributedDataParallel` 实现多卡并行。 ```python model = torch.nn.DataParallel(model).cuda() # 多 GPU 并行 ``` ### 9. 使用内存分析工具排查泄漏 某些情况下，显存不足可能是由于显存泄漏引起的。可以使用 CUDA 自带的内存检查工具（如 `cuda-memcheck`）进行诊断，识别潜在的内存访问错误或泄漏点。 ---
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值