记录一次tensorflow cuda out of memory

最新推荐文章于 2024-06-30 23:24:39 发布
原创 最新推荐文章于 2024-06-30 23:24:39 发布 · 977 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#out of memory #tensorflow

本文探讨了在使用TensorFlow进行训练时遇到的CUDA OutOfMemory错误。详细介绍了如何通过调整batchsize和设置GPU配置参数来解决显存不足的问题。

背景：训练的时候cuda 报错out of memory

解决：排查原因。基本out of memory就是显存不够了,batchsize 太大的原因。将batchsize改小了以后确实问题也解决了。

但是让我疑问的是之前我跑程序的时候还没有任何问题。突然就out of memory.

注：tensorflow 默认run的时候将显存全占。设置config就解决。

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

 

tensorflow CUDA out of memory
无奈的小心酸的博客
05-27 4万+
今天刚把服务器搭建起来 结果程序就跑不起来 当时差点把自己吓尿了 错误类型：CUDA_ERROE_OUT_OF_MEMORY E tensorflow/stream_executor/cuda/cuda_driver.cc:924] failed to alloc 17179869184 bytes on host: CUDA_ERROR_OUT_OF_MEMORY W ./tenso...
Python tensorflow报错： CUDA_ERROR_OUT_OF_MEMORY
qq_34851605的博客
11-20 3627
tensorflow报错： CUDA_ERROR_OUT_OF_MEMORY 这几天在做卷积神经网络的一个项目，遇到了一个问题CUDA_ERROR_OUT_OF_MEMORY。运行代码时前三四百次都运行正常，之后就一直报这个错误（而且第二次、第三次重新运行程序时，报错会提前），但是程序不停止。今天空闲下来，就看一看 这个问题。 详细信息（因为我的报错解决了，所以从网上找了一个相同的报错信息）： 2017-03-28 23:38:19.485396: E tensorflow/stream_executor/
TensorFlow: CUDA_ERROR_OUT_OF_MEMORY
小天花藏
12-19 510
在运行别人已经训练好的模型时报了这个错 TensorFlow: CUDA_ERROR_OUT_OF_MEMORY 通过字面意思也知道是内存不够了，而CUDA指的是GPU。而我使用别人的模型，并不希望使用到GPU。为解决这个问题需要进行如下设置： import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ["CUDA_VI...
Tensorflow 错误001：CUDA_ERROR_OUT_OF_MEMORY
大可的杨先森的博客
11-14 1427
代码出现tensorflow.python.framework.errors_impl.InternalError，from device: CUDA_ERROR_OUT_OF_MEMORY 此文为解决机器学习中使用tensorflow，在运行代码出现上述报错情况 1.先运行nvidia-smi 检查GPU运行情况，若内存够用进入2 2.代码应作已下修改 import tensorflo...
Tensorflow: CUDA_ERROR_OUT_OF_MEMORY 亲测有效
种花家的奋斗兔的博客
11-02 1980
import os os.environ["CUDA_VISIBLE_DEVICES"] = '0' #use GPU with ID=0 config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.5 # maximun alloc gpu50% of MEM config.gpu_optio...
TensorFlow2.0 CUDA_ERROR_OUT_OF_MEMORY out of memory 解决办法
胭脂草的ABC博客
08-10 2989
今天头一次使用TensorFlow2.0的GPU版本进行训练，训练中遇到【CUDA_ERROR_OUT_OF_MEMORY out of memory】，于是百度各种解决办法，基本能查到的都是TensorFlow1.0的用法，但此方法在TensorFlow2.0中不适用。于是经过多方查找，终于找到设置方法，在此进行记录，一是方便日后回看，二是弥补百度中各种查不到。 TensorFlow1.0用法 from keras import backend as K config = t...
cuda out of memory gpu还有空间_深度学习模型训练时如何优化GPU显存？（附TF和Paddle优化方式）...
weixin_39896256的博客
11-21 1020
关注&置顶“Charlotte数据挖掘”每日9:00，干货速递！不知道大家在训练深度学习模型时有没有遇见过这种情况：设置的batch_size明明不大，譬如32或者16，但是怎么一跑模型，GPU的显存就占满了呢？原来我使用Tensorflow的训练的时候发现是这样，后来我使用PaddlePaddle的时候也是这样，我以为是框架本身出了问题，但是仔细研究后才发现，其实这两种框架都是...
pytorch遇见RuntimeError: CUDA out of memory的解决
引爆激情
07-24 3933
最近在用pytorch做项目时，本人遇到RuntimeError: CUDA out of memory的错误，下面就此问题做一个记录和分享，并谈谈今后遇到爆显存问题的解决思路。 目录 1.查看是否其他程序占用显存 2.查看pytorch和cuda是否匹配 3.cuda.empty_cache()方法 3.当前项目代码是否还使用了keras/tensorflow 4.调小batch_size和通过程序优化显存 1.查看是否其他程序占用显存 遇到此类错误后，对于py格式的文件来说，程序会进行终
CUDA_ERROR_OUT_OF_MEMORY: out of memory； total memory reported: 34058272768
bashan1604的博客
10-13 1610
环境 Ubuntu: 16.04 CUDA: 10.0 CUDNN: 7.6.5 执行情况 $ python3 train.py {'train': {'data_loader': {'batch_size': 1, 'resize_shape': [600, 600], 'train_and_val': 0.8, 'train_img': './data/sample/train_data/train_images', 'train_txt': './data/sample/train_data
使用gpu版的tensorflow时出现OOM错误(显存溢出错误)： CUDA out of memory的解决办法。
m0_56192771的博客
03-15 5501
gpu版的tensorflow 在执行过程中会默认使用全部的 GPU 内存，给系统保留 200 M，但是在我的系统上会在分配内存时被拒绝导致报错，因此我们可以使用如下语句指定 GPU 内存的分配空间： 下面以我自己的电脑为例，进行相关设置。因为我的电脑的显存是6G，所以我可以设置tensorflow程序运行时所占用的显存不能超过6G，这里限制在4G大小。 import tensorflow as tf #限制消耗固定大小的显存（程序不会超出限定的显存大小，若超出的报错）。 physical_gpus = t
深度学习Tensorflow: CUDA_ERROR_OUT_OF_MEMORY解决办法
菜鸡正在学习
09-08 1056
目前在用深度学习训练，训练中设置batch size后可以正常跑通，但是在训练一轮save_model时，总出现这个错误，即使我调batch size到1也依旧会报错。默认调用最大GPU(但我的GPU显存不足以满足需求，所以报错)。经过查询，再logger.py调用tf处，加入。查询后了解到是因为TensorFlow中的。发现是在 调用logger时出现问题。
Tensorflow:out of memory 错误解决方法
weixin_42084032的博客
09-12 1693
>>> print(tf.test.is_gpu_available()) 2021-09-12 20:17:56.416492: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:937] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUM.
解决tensorflow gpu报错: ran out of memory (OOM)
热门推荐
pyxiea
10-22 1万+
报错原因及解决方案 报错现象： Allocator (GPU_0_bfc) ran out of memory trying to allocate 200.00MiB (rounded to 209715200). Current allocation summary follows. <省略> Resource exhausted: OOM when allocating ten...
Pytorch与Tensorflow模型同时使用出现cuda out of memory的问题
江户香葱饼的博客
06-23 1068
问题描述： 在工程上同时使用了Tensorflow框架模型与pytorch框架模型。全部模型大小加起来1个G左右，显存11G，但是运行时报错： CUDA out of memory RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 10.91 GiB total capacity; 856.79 MiB already allocated; 17.38 MiB free; 71.21 MiB cached)
TF报错：CUDA_ERROE_OUT_OF_MEMORY
行走的IT
11-14 4662
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX 860M, pci bus id: 0000:01:00.0) E tensorflow/stream_executor/cuda/cuda_dnn.c
Keras/TensorFlow 报错：CUDA_ERROR_OUT_OF_MEMORY 解决办法
buziran的专栏
05-22 1303
Keras/TensorFlow 报错如下： failed to alloc 2097152 bytes on host: CUDA_ERROR_OUT_OF_MEMORY could not allocate pinned host memory of size:xxxxx 解决办法： TensorFlow 默认贪婪的占用全部显存，所以有时候显存不够用，添加如下代码，让显存按需分配 ...
大模型训练中CUDA out of memory的几种解决方法
smartcat2010的博客
05-26 2210
2. 如果需要较大的batch size来达到预期训练指标效果，则使用gradient accumulation来累积梯度，达到等价效果的同时，占用显存小；6. 缓解PyTorch的显存碎片；PYTORCH_CUDA_ALLOC_CONF和max_split_size_mb。3. 使用低精度做训练。torch.cuda.empty_cache()10. 使用nvidia-smi看到该GPU上的其他进程；9. Model并行或者Pipeline并行，把模型拆分至多卡。4. 减小训练数据样本的长度。
深度学习CUDA Out of Memory原因总结和方法
PeterClerk的博客
06-30 2698
CUDA Out of Memory原因总结和方法
【纯干货级教程】解决RuntimeError:CUDA out of memory
2401_84870184的博客
05-13 5654
本文对于采用CPU/LAPTOP-GPU如何加快训练进程，会有较为明确的描述和解决方法，如果目前你存在设备算力差等类似情况的话，相信参考本文的步骤进行尝试是能够解决的。
Runtime error cuda out of memory
最新发布
07-22
在使用CUDA进行计算时，遇到 **“Runtime error: CUDA out of memory”** 是一种常见的资源管理问题。该错误通常表示GPU内存不足以容纳当前任务所需的数据和中间计算结果。以下是可能的原因及对应的解决方案。 ### 1. 内存分配策略不合理 在CUDA程序中，显式或隐式地分配了大量GPU内存，可能导致内存不足。例如，使用 `cudaMalloc` 分配过多内存，或者在深度学习框架中设置过大的批量大小（batch size）[^1]。 **解决方案：** - 检查内存分配逻辑，优化数据结构，避免冗余分配。 - 在深度学习任务中，尝试减少批量大小。 - 使用内存分析工具（如 `nvprof` 或 `Nsight`）分析内存使用情况，识别内存瓶颈。 ### 2. 未释放已使用的GPU内存 如果程序在运行过程中未及时释放不再使用的GPU内存，会导致内存泄漏，最终出现内存不足错误[^1]。 **解决方案：** - 确保在不再需要内存时调用 `cudaFree` 显式释放。 - 在使用深度学习框架时，注意上下文管理，如使用 PyTorch 的 `torch.cuda.empty_cache()` 或 TensorFlow 的内存增长配置。 ### 3. 多任务竞争GPU资源 在多用户或多任务环境下，多个任务可能同时占用同一GPU，导致单个任务可用内存不足。 **解决方案：** - 使用 `nvidia-smi` 查看GPU资源占用情况，合理调度任务。 - 在Slurm作业提交脚本中指定GPU资源，例如： ```bash #SBATCH --gres=gpu:1 ``` - 使用CUDA的内存限制机制或深度学习框架的内存限制功能（如TensorFlow的 `per_process_gpu_memory_fraction`）。 ### 4. 内核函数中过度使用共享内存或寄存器 在编写CUDA核函数时，如果每个线程使用过多寄存器或共享内存，会导致线程块数量受限，从而增加内存压力。 **解决方案：** - 优化核函数代码，减少每个线程使用的寄存器和共享内存数量。 - 使用 `__launch_bounds__` 限制线程块大小，优化资源分配。 ### 5. GPU内存碎片化 在频繁分配和释放GPU内存的情况下，可能会出现内存碎片，导致无法分配连续的大块内存[^1]。 **解决方案：** - 使用统一内存管理（Unified Memory）简化内存分配。 - 在程序设计中尽量使用内存池（memory pool）技术，减少碎片化。 ### 6. 深度学习框架中的内存优化不足 某些深度学习框架默认配置可能未启用内存优化功能，如梯度检查点（gradient checkpointing）或内存共享机制。 **解决方案：** - 启用梯度检查点技术，减少训练时内存占用。 - 使用框架提供的内存优化选项，例如 PyTorch 的 `torch.utils.checkpoint`。 --- ### 示例代码：检查GPU内存使用情况（PyTorch） ```python import torch # 检查当前GPU内存使用情况 print(f"Allocated: {torch.cuda.memory_allocated() / 1024 ** 2} MB") print(f"Reserved: {torch.cuda.memory_reserved() / 1024 ** 2} MB") # 释放缓存 torch.cuda.empty_cache() ``` --- ### 示例代码：限制TensorFlow内存使用 ```python import tensorflow as tf gpus = tf.config.list_physical_devices('GPU') if gpus: try: # 设置内存增长 for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True) except RuntimeError as e: print(e) ``` --- ### 示例代码：使用nvidia-smi查看GPU内存 ```bash nvidia-smi --query-gpu=index,name,temperature.gpu,utilization.gpu,memory.used,memory.total --format=csv ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值