Webui 显卡有显存，会报错：CUDA out of memory

原创 已于 2024-09-22 06:49:06 修改 · 1.5k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#stable diffusion

于 2024-09-22 06:47:24 首次发布
该文章已生成可运行项目，

Webui 显卡明明有显存，会报错：CUDA out of memory

网上找了很多资料，都没有能解决这个问题 ，后来发现和电脑虚拟内存设置有关，这里记录一下具体的解决方法：

什么是 CUDA Out of Memory 错误？

基本定义
CUDA内存不足是指，当你在深度学习或GPU编程中分配了超过GPU显存容量的内存时，CUDA驱动程序无法再分配新的内存块，从而引发错误。这是由GPU硬件资源的限制导致的常见问题，尤其是在处理大数据集或超大型神经网络模型时。

出错提示如下：

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 30.00 MiB. GPU 0 has a total capacty of 16.00 GiB of which 12.25 GiB is free. Of the allocated memory 2.43 GiB is allocated by PyTorch, and 126.88 MiB is reserved by PyTorch but unallocated.
出现这个问题是因为主机虚拟内存设置的比较小或者没设置，导致电脑可和显存进行交换的内存不足， 从而会报CUDA out of memory

在运行 PyTorch 程序时，数据通常会先加载到主机的 物理内存（RAM） 中，然后再传输到显存。如果主机的 RAM
不足，操作系统会将部分数据存放到 虚拟内存（通常是硬盘上的交换空间）中。

当你加载非常大的数据集、模型或进行大量的预处理时，如果 RAM 不足，操作系统会将部分数据移动到虚拟内存中。

遇到这种情况，可以将电脑主机虚拟内存的设置调大来解决
点击

电脑 ->属性 ->高级系统设置 ->"性能"设置->虚拟内存设置

这边虚拟内存设置过小（2.5G左右），导致PyTorch 分配了2.43 G 后，不够用了 Of the allocated memory 2.43 GiB is allocated by PyTorch 所以建议把虚拟内存设置大一点
在这里插入图片描述

调整后如下：
这里选择E盘作为虚拟 内存分配，配置了30GB， 这样就不会报CUDA out of memory
在这里插入图片描述

另外, 如果要查看 显卡内存的使用情况大小，可以使用nvidia-smi 进行查看

在这里插入图片描述

本文章已经生成可运行项目
成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0； 2.00 GiB to
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-02 2万+
​ 成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0; 2.00 GiB total capacity; 1.67 GiB already allocated; 0 bytes free; 1.67 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_s
Stable Diffusion WebUI内存不够爆CUDA Out of memory怎么办？
满目星辰
09-11 1万+
在我们运行SD的时候，我们经常会爆CUDA Out of memory。我们应该怎么办呢？这是因为我们的显存或者内存不够了。如果你是用cpu来跑图的则表示内存不够，这个时候就需要换个大点的内存了。如果你是用gpu来跑图的就说明你显存不够用咯，这时候咋办呢？下面我将一一述说解决办法。请用心看完，别随便看看就不看了，否则你会丢失一个重大的宝藏。
torch.cuda.OutOfMemoryError: CUDA out of memory.解决方案（亲测有效）
estxiyang的博客
04-12 6799
torch.cuda.OutOfMemoryError: CUDA out of memory.
ComfyUI 报错 CUDA out memory 解决方法
最新发布
Ai.den
11-22 590
在使用 ComfyUI 的过程中，经常会碰到大名鼎鼎的 CUDA out memory 显存不够的的报错，如果你有仔细看报错信息中的说明，可以看到其实有解决方法：PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True。
CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0； 6.00 GiB total capacity；总结（1）
qq_38148600的博客
09-04 3万+
CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0; 6.00 GiB total capacity; 4.54 GiB already allocated; 14.94 MiB free; 4.64 GiB reserved in total by PyTorch) 分析问题CUDA内存超载 解决尝试一：GPU未被调用， https://blog.csdn.net/xc_zhou/article/details/107737783 ..
[881]内存不足RuntimeError: CUDA out of memory. Tried to allocate 16.00 MiB (GPU 0； 2.00 GiB total cap...
sinat_42367115的博客
04-21 5713
今天第一次在服务器上跑代码 也是第一次接触cuda显存卡 碰到了标题问题 将解决办法记录下来 1.首先去查看cuda显存占用情况： nvidia-smi 显示所有GPU的当前信息状态（图源网络 不想再去截图啦 介意可删） 发现第二列其实占用没满 接着考虑第二种情况 2. 如果是训练中 可考虑将batch_size调小一些 如果在测试集中 在代码问题的上一行 加入withtorch.no_grad(): 3.考虑训练图片分辨率太高 换数据集进行测试或者将图片大小改小一点 亲测有效！.
yolov8推理时（检测、分割、追踪）cuda out of memory问题的解决方案（已解决）
FRANPPER的博客
09-27 8572
YOLOv8检测的时候显存爆了？别着急，看这里！
（超全方法）尝试解决问题：torch.cuda.OutOfMemoryError: CUDA out of memory.
qq_56438555的博客
11-28 3万+
提供多种方法解决CUDA内存不足（Out of Memory）的问题。
torch.cuda.OutOfMemoryError: CUDA out of memory.
m0_72572822的博客
09-26 4209
CUDA out of memory
Stable Diffusion CUDA out of memory. Tried to allocate 46.00 MiB. GPU 0 has a total capacty of 6.00
Drizzle_66213的博客
05-28 897
重新启动后依旧报错，将参数设置为提示数值最小偶数，参数设置为set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:44，保存后重新启动，完美解决爆显存。参考以上文章，根据报错提示在webui-user.bat文件添加set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:46。
llamafactory用多卡4090服务器，训练qwen14B大模型时报错GPU显存不足oom（out of memory），已解决
qq_38773993的博客
10-23 5567
通过export CUDA_VISIBLE_DVICES=0,1,2,3,4,5,6,7指定使用8张显卡，训练qwen2.5-7B大模型时正常，但训练qwen2.5-14B，qwen2.5-32B模型时报错，torch.OutOfMemoryError:CUDA out of memory。至于ds_config_zero3.json这个，可以去qwen官网下载，https://github.com/QwenLM/Qwen/blob/main/finetune/ds_config_zero3.json。
pytorch模型提示超出内存RuntimeError: CUDA out of memory.
01-20
跑模型时出现RuntimeError: CUDA out of memory.错误 查阅了许多相关内容，原因是：GPU显存内存不够 简单总结一下解决方法： 将batch_size改小。 取torch变量标量值时使用item()属性。 可以在测试阶段添加如下代码： with torch.no_grad(): # 停止自动反向计算梯度 参考： https://wisdomai.xyz/tool/pytorch/archives/2301 https://ptorch.com/news/160.html 作者：菜叶儿掉啦
llamafactory训练中出现CUDA out of memory报错怎么解决
05-29
引用[2]提到启动webUI服务时指定了CUDA_VISIBLE_DEVICES=0，可能涉及单卡使用。引用[3]和[4]涉及使用DeepSpeed和单机多卡训练的配置，以及安装依赖项如bitsandbytes和xformers。接下来，我需要考虑常见的CUDA OOM...
CUDA error:out of memory
Arcobaleno
05-16 3万+
今天在运行程序的时候，一直跟我报这个错误，说我CUDA内存不足。调试了很久，最后发现竟然是这样····· 刚开始我怀疑是服务器上的显卡被人用了，但是当我mvidia-smi的时候发现3块GPU都没人用。。那这个问题显然是不可能了。那为何会这样呢？ 又有人说是TensorFlow和Pytorch的版本冲突。？？？我并没有搞到TensorFlow啊 最后参考了该帖子：http:...
torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 400.00 MiB (GPU 0； 6.00 GiB total
mjmald的博客
07-25 1万+
5. **调整 PyTorch 内存管理设置**: 可以尝试调整 PyTorch 的内存管理设置，例如通过设置`max_split_size_mb` 来避免内存碎片化。3. **释放不需要的显存**: 在某些情况下，可能存在一些不需要的显存被占用，可以使用`torch.cuda.empty_cache()` 来释放不需要的显存。可以尝试减小`batch_size` 参数的值。1. **减少模型的大小**: 可以考虑减少模型的大小，例如通过选择更小的模型、减少模型的层数或通道数等方式，来降低内存需求。
【新手】复现NeRCo代码中出现的torch.cuda.OutOfMemoryError: CUDA out of memory. 问题解决办法。
qq_43612410的博客
09-13 2424
3、高版本pytorch可能在处理显存占用时有更多的优化，可以升级为更高版本的pytorch。特别是在相同型号GPU的情况下，可以考虑Python包版本的问题，通过“pip list”或者“conda list”可以参考版本信息。对于1，在尝试减少batchsize解决，发现原文中原本的batchsize已经是1，没有办法再减了。但是此方法只是应急用，至于怎么让他多个GPU一起用，我至今还没有弄明白，在参数前面加上。2、cached（缓存）过高的情况下，在报错的代码块之前先添加。也还是会报显存不够的错误.
Yolov8模型训练报错：torch.cuda.OutOfMemoryError
大雾的小屋的博客
11-10 7276
最近在使用自己的数据训练Yolov8模型的时候遇到了很多错误，下面将逐一解答。 如何解决：torch.cuda.OutOfMemoryError的报错问题。
【已解决】torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 250.00 MiB.
热门推荐
dont worry about it的博客
05-24 6万+
报错：torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 250.00 MiB.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值