Keras防止程序占满GPU显存

最新推荐文章于 2022-03-22 00:46:20 发布

原创最新推荐文章于 2022-03-22 00:46:20 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

深度学习专栏收录该内容

8 篇文章

订阅专栏

本文介绍了一种在模型训练中智能管理GPU资源的方法，通过配置TensorFlow的ConfigProto选项，实现GPU显存的按需分配，有效提升训练效率。

在模型建立前加上即可

    config = tf.ConfigProto()
    config.gpu_options.allow_growth=True                                #按需分配显存
    keras.backend.set_session(tf.Session(config=config))

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

心之所向丶7

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

防止keras占满GPU显存-keras-yolo

xxxy502的博客

01-14

1537

import os import numpy as np import keras.backend as K from keras.layers import Input, Lambda from keras.models import Model from keras.optimizers import Adam from keras.callbacks import TensorBoard,...

keras指定gpu_Keras指定显卡并限制显存使用（tensorflow后端）

weixin_39752880的博客

12-20

429

这两天测了下自己基于Keras的某应用的rest-api，单进程的应用占满了整块GPU的显存，但是实际利用率很低，并发请求的时候完全是串行处理的。采用多线程的方式并没有加快速度，所以考虑使用多进程。但是！问题来了！Keras使用显卡时是默认调用所有的GPU，并且占满所有显存的！如果再跑一个进程就直接罢工，告诉你out of memory，真是太讨厌了！所以就很有必要搞清楚Keras如何指定GPU和...

2 条评论您还未登录，请先登录后发表或查看评论

2 条评论

王二小、 2019.12.09
为什么按需分配电脑很卡
- 心之所向丶7回复王二小、 2019.12.09
  [reply]weixin_43056275[/reply] 是内存占满了？还是cpu超负荷运行了？

keras禁止使用GPU加速

zh_JNU的博客

07-09

4800

import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" # see issue #152os.environ["CUDA_VISIBLE_DEVICES"] = ""

keras防止显存占满

xxxy502的博客

01-16

1598

https://blog.csdn.net/sinat_26917383/article/details/75633754

禁止keras预分配GPU内存

BrownWong的专栏

01-16

1445

keras使用theano或者tensorflow作为后端时，都会预分配GPU内存，即先占满当前GPU的所有内存，而你使用nvidia-smi显示的就是预分配的GPU内存，往往是满的。如果你不想要程序预分配内存，即需要多少内存就动态分配多少内存时，你就需要如下设置：import tensorflow as tf import keras.backend.tensorflow_backend as K

Keras跑完程序释放显存的办法

m0_52571323的博客

03-12

4901

代码环境 : tf1.14.0+ keras2.2.5 用Keras跑了MNIST代码之后，又跑其他程序总是容易显存不够用。从网上找到下面的方法，亲测可用。方法 1 先安装numba库：pip install numba 2 使用如下代码即可 from numba import cuda cuda.select_device(0) cuda.close() 3注意下面的方法不好使。亲测不好使 from keras import backend as K K.clear_session() 原因

解决keras限制GPU节点使用和占用内存量不起作用的问题

xiaojianzhao的博客

02-16

744

问题：在keras里插入一下代码，限制一下GPU节点使用和占用内存量，发现根本不起作用 import tensorflow as tf os.environ["CUDA_VISIBLE_DEVICES"] = "2" from keras.backend.tensorflow_backend import set_session config = tf.ConfigProto() config.g...

tensorflow_keras+GPU显存按需分配.doc

09-16

在使用TensorFlow和Keras进行深度学习模型训练时，GPU显存管理是至关重要的。由于GPU内存有限，而复杂的神经网络模型可能需要大量的资源，因此有效地分配和利用GPU显存可以显著提高训练效率。以下是对如何在...

keras在TensorFlow-GPU和CPU中来回切换，以及GPU显存不足的缓解方式（切换原因：GPU显存实在不足）

weixin_58420301的博客

03-22

4225

TensorFlow中GPU显存不足的问题与CPU切换为CPU的问题

Keras - GPU ID 和显存占用设定步骤

09-16

接下来，我们来看如何让Keras按需分配GPU显存。默认情况下，Keras会预分配全部显存，这在处理大型模型时可能导致资源浪费。为了避免这种情况，可以使用TensorFlow的`ConfigProto`类，设置`allow_growth`参数为True，...

keras终止训练后显存不释放_Keras实现Large-scale Bisample Learning on ID vs. Spot Face Recognition...

weixin_39861669的博客

11-29

216

keras-lbl-IvS论文地址：Large-scale Bisample Learning on ID vs. Spot Face Recognition工程地址：keras-lbl-IvS keras实现人证比对论文《Large-scale Bisample Learning on ID vs. Spot Face Recognition》的核心思想; 当类别数非常大时(超过百...

keras系列︱keras是如何指定显卡且限制显存用量（GPU/CPU使用）

热门推荐

素质云笔记

07-21

4万+

keras在使用GPU的时候有个特点，就是默认全部占满显存。若单核GPU也无所谓，若是服务器GPU较多，性能较好，全部占满就太浪费了。于是乎有以下三种情况： - 1、指定GPU - 2、使用固定显存的GPU - 3、指定GPU + 固定显存一、固定显存的GPU 本节来源于：深度学习theano/tensorflow多显卡多人使用问题集（参见：Limit the resour...

服务器keras没法显示所有gpu,Keras - GPU ID 和显存占用设定步骤

weixin_36123682的博客

08-05

462

初步尝试 Keras (基于 Tensorflow 后端)深度框架时, 发现其对于 GPU 的使用比较神奇, 默认竟然是全部占满显存, 1080Ti 跑个小分类问题, 就一下子满了. 而且是服务器上的两张 1080Ti.服务器上的多张 GPU 都占满, 有点浪费性能.因此, 需要类似于 Caffe 等框架的可以设定 GPU ID 和显存自动按需分配.实际中发现, Keras 还可以限制 GPU 显...

Keras下GPU/CPU模式切换

Avalon

11-14

3万+

4.5 Switch to GPU model4.5.1 确保环境确保已经正确安装了keras, tensorflow/theano, cuda在MacOS下面安装CUDA请参考：mac osx/linux下如何将keras运行在GPU上use cuda with macosUbuntu下面安装CUDA请参考：配置深度学习环境的最后一步4.5.2 切换gpu来自官方的介绍How do I use k

keras gpu占用

nlite827109223的博客

01-09

460

import tensorflow as tf from keras.backend.tensorflow_backend import set_session config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.3 set_session(tf.Session(config=config...

tensorflow/keras调用CPU而不使用GPU问题

Yolo_C的博客

05-20

4567

今天遇到一个bug，使用一个tensorflow后端的keras模型的时候，速度巨慢，后面发现是模型只使用了CPU，没有调用GPU。 1.解决方案 https://blog.csdn.net/qq_40829288/article/details/90509417 这个问题是由于tensorflow的版本高于tensorflow-gpu版本首先查看版本 pip install tensorflow 1.12.0 tensorflow-gpu 1.11.0 所以脚本默认调用了tensorflow而不是te

在训练中，使用nvidia-smi观察gpu使用情况，发现，显存占用过多。但gpu利用率一直为0.

Labiod的博客

04-03

3935

解决方法：在不适用cond虚拟环境的情况下，重新安装tensorflow-gpu和keras。卸载之前的版本： conda uninstall tensorflow-gpu conda uninstall keras 安装新的版本：先执行： conda install tensorflow-gpu 后执行： pip install keras 后一个语句使用p...

Keras显存不足报错

xyh_qianxiao的博客

01-07

875

今天运行了一个从GitHub上面下载的代码，奈何自己的渣渣电脑显存不够大，然后就报错了 Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info. 然后感觉到是自己笔记本显存不够的问题，于是将fit函数中的batch_size调小即可 ...

keras踩坑记——gpu和cpu结果不同

huowa9077的博客

05-08

1万+

问题描述: 训练了大概6个epoch 模型在cpu上的loss开始出现nan，在gpu上表现正常经查找资料https://www.oschina.net/question/3683714_2266089 这位兄台和我遇到了同样的问题，然而他并没有解决https://www.zhihu.com/question/62441748这位兄台给出了一个解释，但是和我的模型问题应该不相同，因为我的RNN模型...

Keras GPU设置：如何指定GPU ID与限制显存占用

这有助于防止因显存不足导致的程序崩溃，同时避免了不必要的资源消耗。示例代码如下： ```python config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.3 session = tf.Session...