YOLOX训练：显存足够，但依旧CUDA out of memory（Tried to allocate 5.58 GiB，8.00 GiB total capacity，6.40 GiB free）

最新推荐文章于 2024-07-03 23:53:19 发布

原创

最新推荐文章于 2024-07-03 23:53:19 发布 · 2w 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #目标检测 #pytorch #计算机视觉 #人工智能

博主在尝试训练YOLOX_S模型时遇到了CUDA内存溢出问题，无论调整batch_size大小都无法避免。已尝试加载预训练权重和不加载权重，但都报相同的错误。检查显示GPU显存未被其他进程占用。尝试了关闭优化选项(-o)和运行CUDA测试代码，但问题依旧。目前怀疑需要深入修改训练配置或检查环境设置。

问题已经解决，请参考以下博文：
https://blog.youkuaiyun.com/ELSA001/article/details/120918082?spm=1001.2014.3001.5501

刚刚我尝试训练自己的yolox_s模型，但我batch_size不管改成多少，甚至改成1，都直接报CUDA out of memory，我很苦恼，这里明明显示我的显存是足够的，但是依旧OOM。
训练命令如下：

(mypytorch) E:\YOLOX>python tools/train.py -f exps/example/yolox_voc/yolox_voc_s_bm.py -d 1 -b 2 --fp16 -o -c weights/yolox_s.pth

我在这里加载了GitHub的预训练权重文件：yolox_s.pth

报错图片如下：
在这里插入图片描述

RuntimeError: CUDA out of memory. 
Tried to allocate 5.58 GiB (GPU 0; 8.00 GiB total capacity; 
43.62 MiB already allocated; 6.40 GiB free;
8.00 GiB allowed; 64.00 MiB reserved in total by PyTorch)