记录一次tensorflow cuda out of memory

最新推荐文章于 2024-06-30 23:24:39 发布

coding_zhang

最新推荐文章于 2024-06-30 23:24:39 发布

阅读量950

点赞数 1

分类专栏：深度学习文章标签： out of memory tensorflow

本文链接：https://blog.youkuaiyun.com/coding_zhang/article/details/89643320

版权

深度学习专栏收录该内容

14 篇文章

订阅专栏

本文探讨了在使用TensorFlow进行训练时遇到的CUDA OutOfMemory错误。详细介绍了如何通过调整batchsize和设置GPU配置参数来解决显存不足的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景：训练的时候cuda 报错out of memory

解决：排查原因。基本out of memory就是显存不够了,batchsize 太大的原因。将batchsize改小了以后确实问题也解决了。

但是让我疑问的是之前我跑程序的时候还没有任何问题。突然就out of memory.

注：tensorflow 默认run的时候将显存全占。设置config就解决。

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

coding_zhang

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

tensorflow CUDA out of memory

无奈的小心酸的博客

05-27

4万+

今天刚把服务器搭建起来结果程序就跑不起来当时差点把自己吓尿了错误类型：CUDA_ERROE_OUT_OF_MEMORY E tensorflow/stream_executor/cuda/cuda_driver.cc:924] failed to alloc 17179869184 bytes on host: CUDA_ERROR_OUT_OF_MEMORY W ./tenso...

RuntimeError: CUDA out of memory

Star__dust的博客

01-10

2005

问题描述运行开源代码，使用CUDA在GPU运行，报错RuntimeError: CUDA out of memory. Tried to allocate 800.00 MiB (GPU 0; 6.00 GiB total capacity; 3.78 GiB already allocated; 155.14 MiB free; 679.80 MiB cached) 可以发现有6g用了3.78...

参与评论您还未登录，请先登录后发表或查看评论

TensorFlow: CUDA_ERROR_OUT_OF_MEMORY

小天花藏

12-19

483

在运行别人已经训练好的模型时报了这个错 TensorFlow: CUDA_ERROR_OUT_OF_MEMORY 通过字面意思也知道是内存不够了，而CUDA指的是GPU。而我使用别人的模型，并不希望使用到GPU。为解决这个问题需要进行如下设置： import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VI...

Tensorflow 错误001：CUDA_ERROR_OUT_OF_MEMORY

大可的杨先森的博客

11-14

1380

代码出现tensorflow.python.framework.errors_impl.InternalError，from device: CUDA_ERROR_OUT_OF_MEMORY 此文为解决机器学习中使用tensorflow，在运行代码出现上述报错情况 1.先运行nvidia-smi 检查GPU运行情况，若内存够用进入2 2.代码应作已下修改 import tensorflo...

Tensorflow: CUDA_ERROR_OUT_OF_MEMORY 亲测有效

种花家的奋斗兔的博客

11-02

1867

import os os.environ["CUDA_VISIBLE_DEVICES"] = '0' #use GPU with ID=0 config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.5 # maximun alloc gpu50% of MEM config.gpu_optio...

TensorFlow2.0 CUDA_ERROR_OUT_OF_MEMORY out of memory 解决办法

胭脂草的ABC博客

08-10

2965

今天头一次使用TensorFlow2.0的GPU版本进行训练，训练中遇到【CUDA_ERROR_OUT_OF_MEMORY out of memory】，于是百度各种解决办法，基本能查到的都是TensorFlow1.0的用法，但此方法在TensorFlow2.0中不适用。于是经过多方查找，终于找到设置方法，在此进行记录，一是方便日后回看，二是弥补百度中各种查不到。 TensorFlow1.0用法 from keras import backend as K config = t...

Python tensorflow报错： CUDA_ERROR_OUT_OF_MEMORY

qq_34851605的博客

11-20

3539

tensorflow报错： CUDA_ERROR_OUT_OF_MEMORY 这几天在做卷积神经网络的一个项目，遇到了一个问题CUDA_ERROR_OUT_OF_MEMORY。运行代码时前三四百次都运行正常，之后就一直报这个错误（而且第二次、第三次重新运行程序时，报错会提前），但是程序不停止。今天空闲下来，就看一看这个问题。详细信息（因为我的报错解决了，所以从网上找了一个相同的报错信息）： 2017-03-28 23:38:19.485396: E tensorflow/stream_executor/

cuda out of memory gpu还有空间_深度学习模型训练时如何优化GPU显存？（附TF和Paddle优化方式）...

weixin_39896256的博客

11-21

961

关注&置顶“Charlotte数据挖掘”每日9:00，干货速递！不知道大家在训练深度学习模型时有没有遇见过这种情况：设置的batch_size明明不大，譬如32或者16，但是怎么一跑模型，GPU的显存就占满了呢？原来我使用Tensorflow的训练的时候发现是这样，后来我使用PaddlePaddle的时候也是这样，我以为是框架本身出了问题，但是仔细研究后才发现，其实这两种框架都是...

CUDA_ERROR_OUT_OF_MEMORY: out of memory； total memory reported: 34058272768

bashan1604的博客

10-13

1574

环境 Ubuntu: 16.04 CUDA: 10.0 CUDNN: 7.6.5 执行情况 $ python3 train.py {'train': {'data_loader': {'batch_size': 1, 'resize_shape': [600, 600], 'train_and_val': 0.8, 'train_img': './data/sample/train_data/train_images', 'train_txt': './data/sample/train_data

使用gpu版的tensorflow时出现OOM错误(显存溢出错误)： CUDA out of memory的解决办法。

m0_56192771的博客

03-15

5327

gpu版的tensorflow 在执行过程中会默认使用全部的 GPU 内存，给系统保留 200 M，但是在我的系统上会在分配内存时被拒绝导致报错，因此我们可以使用如下语句指定 GPU 内存的分配空间：下面以我自己的电脑为例，进行相关设置。因为我的电脑的显存是6G，所以我可以设置tensorflow程序运行时所占用的显存不能超过6G，这里限制在4G大小。 import tensorflow as tf #限制消耗固定大小的显存（程序不会超出限定的显存大小，若超出的报错）。 physical_gpus = t

深度学习Tensorflow: CUDA_ERROR_OUT_OF_MEMORY解决办法

菜鸡正在学习

09-08

1014

目前在用深度学习训练，训练中设置batch size后可以正常跑通，但是在训练一轮save_model时，总出现这个错误，即使我调batch size到1也依旧会报错。默认调用最大GPU(但我的GPU显存不足以满足需求，所以报错)。经过查询，再logger.py调用tf处，加入。查询后了解到是因为TensorFlow中的。发现是在调用logger时出现问题。

Tensorflow:out of memory 错误解决方法

weixin_42084032的博客

09-12

1640

>>> print(tf.test.is_gpu_available()) 2021-09-12 20:17:56.416492: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUM.

解决tensorflow gpu报错: ran out of memory (OOM)

热门推荐

pyxiea

10-22

1万+

报错原因及解决方案报错现象： Allocator (GPU_0_bfc) ran out of memory trying to allocate 200.00MiB (rounded to 209715200). Current allocation summary follows. <省略> Resource exhausted: OOM when allocating ten...

Pytorch与Tensorflow模型同时使用出现cuda out of memory的问题

江户香葱饼的博客

06-23

1027

问题描述：在工程上同时使用了Tensorflow框架模型与pytorch框架模型。全部模型大小加起来1个G左右，显存11G，但是运行时报错： CUDA out of memory RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 10.91 GiB total capacity; 856.79 MiB already allocated; 17.38 MiB free; 71.21 MiB cached)

TF报错：CUDA_ERROE_OUT_OF_MEMORY

行走的IT

11-14

4617

I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 860M, pci bus id: 0000:01:00.0) E tensorflow/stream_executor/cuda/cuda_dnn.c

Keras/TensorFlow 报错：CUDA_ERROR_OUT_OF_MEMORY 解决办法

buziran的专栏

05-22

1277

Keras/TensorFlow 报错如下： failed to alloc 2097152 bytes on host: CUDA_ERROR_OUT_OF_MEMORY could not allocate pinned host memory of size:xxxxx 解决办法： TensorFlow 默认贪婪的占用全部显存，所以有时候显存不够用，添加如下代码，让显存按需分配 ...

大模型训练中CUDA out of memory的几种解决方法

smartcat2010的博客

05-26

1879

2. 如果需要较大的batch size来达到预期训练指标效果，则使用gradient accumulation来累积梯度，达到等价效果的同时，占用显存小；6. 缓解PyTorch的显存碎片；PYTORCH_CUDA_ALLOC_CONF和max_split_size_mb。3. 使用低精度做训练。torch.cuda.empty_cache()10. 使用nvidia-smi看到该GPU上的其他进程；9. Model并行或者Pipeline并行，把模型拆分至多卡。4. 减小训练数据样本的长度。

深度学习CUDA Out of Memory原因总结和方法

PeterClerk的博客

06-30

2368

CUDA Out of Memory原因总结和方法

【纯干货级教程】解决RuntimeError:CUDA out of memory

2401_84870184的博客

05-13

4565

本文对于采用CPU/LAPTOP-GPU如何加快训练进程，会有较为明确的描述和解决方法，如果目前你存在设备算力差等类似情况的话，相信参考本文的步骤进行尝试是能够解决的。

legged gym cuda out of memory