CUDA报错:Out of Memory

最新推荐文章于 2025-09-06 07:49:28 发布
原创 最新推荐文章于 2025-09-06 07:49:28 发布 · 1.2w 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #开发语言

博客指出，当报错提示Pytorch reserved的内存远大于Already allocated的内存时，是因分配显存单位过大，产生大量内存碎片无法继续分配。可通过限制一次分配的最大单位来解决该问题，使代码正常运行。
部署运行你感兴趣的模型镜像

如果报错里提示Pytorch reserved的内存远大于Already allocated的内存，那么就是因为分配显存时单位过大，导致出现大量内存碎片无法继续分配（与操作系统内存管理同理）。

我们可以限制一次分配的最大单位来解决这个问题。

vim ~/.bashrc
#然后在文件中加入下面这行
export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:32
#保存退出，然后运行下面的指令
source ~/.bashrc

随后代码便可正常运行了。

您可能感兴趣的与本文相关的镜像

PyTorch 2.6

PyTorch 2.6

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

使用cuda报错的一次记录（CUDA error: out of memory）
人工智能
07-11 599
使用cuda报错的一次记录（CUDA error: out of memory） 由于batch_size设置过大导致的！
显存充足 RuntimeError: CUDA error: out of memory
AsajuHuishi的博客
11-05 4539
如果平时训练测试都没问题，忽然有一天测试的时候出现RuntimeError: CUDA error: out of memory，很有可能是因为当时训练时使用的卡号和现在使用的卡号不一致。 我今天用0卡的时候发现 RuntimeError: CUDA error: out of memory 首先nvidia-smi，发现0卡显存充足。 然后查看之前的日志，发现打印的变量在1卡上。 这说明我们之前用1卡运行是没有问题的，需要将cuda 1映射到cuda 0。 修改测试代码即可，将 checkpoint .
Unsloth CUDA内存碎片优化：PYTORCH_CUDA_ALLOC_CONF配置的极致性能调优
最新发布
gitblog_00087的博客
09-06 1136
你是否在使用Unsloth进行QLoRA微调时遇到过以下问题：训练中途突然报CUDA out of memory错误，但nvidia-smi显示内存使用率并未达到100%？或者模型训练速度随着epoch增加而逐渐变慢？这些现象的背后往往隐藏着一个容易被忽视的因素——**CUDA内存碎片**。 作为专注于"5X faster 60% less memory"的高效微调框架，Unsloth在内存优化...
Hugging Face报错「RuntimeError: CUDA error: out of memory」：大模型推理的显存管理与模型蒸馏策略
shejizuopin的博客
05-17 1029
在处理大模型推理任务时，Hugging Face用户常遇到RuntimeError: CUDA error: out of memory错误，尤其在显存资源有限的情况下。本文系统性解析了该错误的成因，并提供了从显存管理到模型蒸馏的完整解决方案。 错误成因分析 模型规模过大：模型参数、KV缓存或激活值占用显存超过GPU容量。 批量大小设置不当：输入序列长度或batch size超出显存承载能力。 显存未及时释放：框架内存管理失效或缓存未清理。 混合精度训练配置错误：半精度（FP16）与全精度（FP32）混合计
YOLOX训练：显存足够，但依旧CUDA out of memory（Tried to allocate 5.58 GiB，8.00 GiB total capacity，6.40 GiB free）
ELSA001的博客
10-20 2万+
刚刚我尝试训练自己的yolox_s模型，但我batch_size不管改成多少，甚至改成1，都直接报CUDA out of memory，我很苦恼，这里明明显示我的显存是足够的，但是依旧OOM。 训练命令如下： (mypytorch) E:\YOLOX>python tools/train.py -f exps/example/yolox_voc/yolox_voc_s_bm.py -d 1 -b 2 --fp16 -o -c weights/yolox_s.pth 我在这里加载了GitHub的预训练
OutOfMemoryError: CUDA out of memory.设置PYTORCH_CUDA_ALLOC_CONF无效问题
qq_30908729的博客
05-07 1097
OutOfMemoryError: CUDA out of memory. Tried to allocate 2.25 GiB (GPU 0; 4.00 GiB total capacity; 6.68 GiB already allocated; 0 bytes free; 6.73 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to av
显存充足，pytorch却报错CUDA out of memory？(已解决)
weixin_45914748的博客
11-25 3万+
明明显存充足，但是train的时候总是提示“CUDA out of memory”。注意！这里的allocated是你自己程序所占用的，我之前理解错了，以为是被别人占用的（然而并没有其他进程）。
明明显存足够但是报错CUDA out of memory的问题
m0_50317149的博客
08-15 1816
换个同样配置的电脑能跑，昨天还能跑今天突然跑不动了。错误显示Tried to allocate 64.00 MiB ，但是2Gib free，这里我就不配图了没有存，言下之意就是说我还有2GB空闲显存，但是加载64mb就报错了，这里空闲显存指的是已经去除pytorch预留显存的空闲现存。最后发现是环境问题，应该是由于昨天在开发的时候不知道加了什么模块进去导致的冲突，我一直又备份环境的习惯，把最初的环境重新放到anaconda的env中，删掉了有问题的环境，可以跑了。
Pytorch：测试保存训练模型时，显存充足，却提示cuda out of memory的问题
qq_45656271的博客
05-26 3223
在训练网络结束后，测试训练模型，明明显存还很充足，却提示我cuda out of memory 出现这种问题，有可能是指定GPU时出错（注意指定空闲的GPU），在排除这种情况以后，通过网上查找，说有可能是测试时的环境与训练时的环境不一样所导致，例如在网络训练时所使用的pytorch版本和测试时所使用的版本不同。由于我训练和测试用的同一虚拟环境，故排除这种情况。 还有一种说法，是因为pytorch的版本和cuda的版本不匹配所导致，经检查，也不是这方面的问题。 最后发现，在加载模型的时候，原代码为
PyTorch报错RuntimeError: CUDA error: out of memory的显存优化
shejizuopin的博客
05-28 1219
本文系统介绍了PyTorch中常见CUDA显存不足问题的解决方案。文章首先分析了显存溢出的四大原因：批量过大、模型复杂、显存碎片化及数据类型不当。随后提出包含8种具体措施的优化矩阵，涵盖基础策略（批量调整、梯度累积）、模型优化（剪枝量化、轻量模型）、高级管理（混合精度、显存监控）和数据优化（DataLoader配置、输入尺寸调整）。每种方法均附代码示例和性能对比数据，如混合精度训练可节省50%显存并提升速度10-20%。最后提供验证流程和常见问题解答，建议优化路径为：先调批量/梯度累积，再考虑模型轻量化，最
CUDA error: out of memory
ayuuuuu的博客
03-07 2731
GPU报错解决方案
解决RuntimeError: CUDA error: out of memory
qq_43733107的博客
01-09 1万+
bug
显卡显存充足，但是报错：CUDA error: out of memory
惊魂呓梦的博客
08-15 5655
显卡显存充足，但是报错：CUDA error: out of memory
显存充足却提示out of memory(allocated memory try setting max_split_size_mb to avoid fragmentation)
睦生
10-28 1万+
在训练模型的过程中，遇到如下问题：显存有一半以上的空间却仍然报out of memory的错误。本文总结网上的相关解决方案，由于这些方案对本问题均无效，本文经过实践提出了一种新的解决方法。
记一次显存充足报CUDA out of memory 的错误
一直大萝北的萝北坑
08-23 998
显存充足 CUDA out of memory
显存充足，但提示CUDA out of memory
YasmineC的博客
08-12 7624
详细错误如下： RuntimeError: CUDA out of memory. Tried to allocate 32.00 MiB (GPU 1; 23.70 GiB total capacity; 21.69 GiB already allocated; 26.81 MiB free; 22.00 GiB reserved in total by PyTorch) 认真阅读这个错误后，就去查看了GPU 1，发现显存充足： 但是这里的显存充足，可能并不是真的充足，我每次查看显存时，都是在程序崩掉
找不到GPU资源——[显存充足，但是却出现CUDA error:out of memory错误]
热门推荐
椰子奶糖的博客
02-03 3万+
说明: 系统：Centos（Redhat） 环境：python3.6+pytorch1.4.0（gpu）+tensorflow2.0.0（cpu） Cuda：9.2 Cudnn：7.0.6？ 模型 YOLOv3 描述 图找不到了，就去隔壁偷了一张（传送） 在运行git上的yolov3目标检测项目的时候尝试使用GPU加速，结果爆出CUDA error:out of memory 隔壁说是找不...
显存充足，但出现CUDA error:out of memory的错误解决
aaazym的博客
11-23 1216
试了网上的一些方法都仍然报这个错误，后来试着把config里的data_num_workers从4改成了0，就可以运行了。我暂时也还不知道是什么原因，之前设置为4的时候是可以跑通的，今天再运行就出错了。
解决RuntimeError: CUDA out of memory，reserved memory is ＞＞ allocated memory
weixin_44153180的博客
06-20 1431
这里要注意是你的reserved memory is >> allocated memory可以使用的，但也不是一定有用，最后最后如果还不行的话可以试试（参数128可以调整）
CUDA：out of memory怎么抛出异常
03-13
### 如何在CUDA中处理 'out of memory' 错误 当遇到 `CUDA out of memory` 的错误时，通常是因为显存不足无法满足当前操作的需求。以下是几种常见解决方案以及如何捕获和处理该异常的方法。 #### 显卡资源管理 为了有效应对 GPU 内存耗尽的问题，可以采取以下措施： 1. **监控 GPU 使用率** 需要定期检查 GPU 当前的内存占用情况，尤其是在多 GPU 环境下运行程序时。通过工具如 `nvidia-smi` 可以实时获取 GPU 的使用状态，并据此调整模型或数据集大小[^1]。 2. **减少批量尺寸（Batch Size）** 如果训练过程中使用的 batch size 过大，则可能导致超出可用显存量。适当降低批次规模能够缓解此问题。 3. **优化模型结构** 对于复杂的神经网络架构来说，可能需要重新设计更轻量级版本来适应硬件条件限制；或者采用混合精度训练技术，在不显著影响最终效果的前提下节省部分存储需求。 #### 增加堆栈容量设置 如果是在调用某些特定 API （例如 `cudaMalloc`, `cudaHostAlloc` 或者核函数内部动态分配内存）期间遇到了 OOM 问题，则可能是由于默认最大允许值较低所致。可以通过如下代码片段增加设备端全局 heap limit 来解决问题: ```cpp // 设置新的heap limits, 单位为字节(byte). size_t newHeapSize = ... ; // 自定义合适的数值 if(cudaSuccess != cudaDeviceSetLimit(cudaLimitMallocHeapSize, newHeapSize)){ fprintf(stderr,"Failed to set device malloc heap size\n"); } ``` 另外还需注意是否存在潜在未释放资源造成泄露现象发生，确保每次完成相应计算之后都正确执行清理工作(`free()`)以防累积消耗过多不必要的额外开销[^2]. #### 异常捕捉机制实现 虽然标准 CUDA 库本身并不直接支持 C++ STL 类型 try-catch 结构来进行 runtime errors 捕捉，但我们仍然可以通过自定义宏定义简化流程从而达到相似目的。下面给出一个简单例子展示如何构建这样一个框架用于检测可能出现的各种类型的错误状况并作出响应动作： ```c++ #define checkCudaErrors(err) __checkCudaErrors((err),__FILE__,__LINE__) inline void __checkCudaErrors(cudaError err,const char *file,int line){ if( cudaSuccess != err ){ printf("CUDA ERROR at %s:%d :%s \n", file,line,cudaGetErrorString(err)); throw std::runtime_error(std::string("CUDA Error ") + cudaGetErrorString(err)); } } try{ float* d_a; checkCudaErrors(cudaMalloc(&d_a,sizeof(float)*N*N));//假设 N 很大以至于触发OOM }catch(const std::exception& e){ cerr <<e.what()<<'\n'; }finally{ cudaFree(d_a); } ``` 上述示例展示了如何利用模板化的方式封装原始API调用来自动验证其成功与否的同时也提供了友好的报错信息输出功能。一旦发现任何非零返回码即刻终止后续逻辑分支转而进入except block做进一步分析诊断直至恢复正常运作为止[^3]. ---
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值