TensorFlow2设置显存按需分配

最新推荐文章于 2024-03-21 19:36:06 发布

原创最新推荐文章于 2024-03-21 19:36:06 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#tensorflow #深度学习 #神经网络

深度学习专栏收录该内容

4 篇文章

订阅专栏

本文探讨了在使用TensorFlow进行深度学习时遇到的显存不足问题，提供了设置TensorFlow 2.0 GPU内存按需分配的解决方案，帮助开发者避免内存爆满错误。

部署运行你感兴趣的模型镜像

在用TensorFlow进行深度学习时，容易遇到显存爆满的情况。
如下：

numpy.core._exceptions.MemoryError: Unable to allocate 359. MiB for an array with shape (60000, 28, 28) and data type float64

解决方案就是设置TensorFlow2设置显存按需分配

gpus = tf.config.experimental.list_physical_devices(device_type='GPU')
for gpu in gpus:
    tf.config.experimental.set_memory_growth(gpu, True)

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。它提供了一个灵活的平台,用于构建和训练各种机器学习模型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

追梦少年ML

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

tensorflow的显存分配机制

2303_77224751的博客

09-22

637

默认情况下，TensorFlow 会映射进程可见的所有 GPU（取决于 CUDA_VISIBLE_DEVICES）的几乎全部内存。这是为了减少内存碎片，更有效地利用设备上相对宝贵的 GPU 内存资源。为了将 TensorFlow 限制为使用一组特定的 GPU，可以使用 tf.config.set_visible_devices 方法。在某些情况下，希望进程最好只分配可用内存的一个子集，或者仅在进程需要时才增加内存使用量。TensorFlow 为此提供了两种控制方法。

TensorFlow深度学习设置显存占用率

half_lemon_c的博客

11-21

2378

在使用TensorFlow深度学习的时候，会默认占用最大显存，如何设置显存占用率，总结如下：I. 两种方法查看显存使用情况II. 设置TensorFlow显存占用率III. 代码插入位置IV. 使用对比V. 参考资料 I. 两种方法查看显存使用情况方法1：CMD窗口中输入命令nvidia-smi 方法2：使用软件AIDA64（推荐），实时监测电脑硬件使用情况电脑闲置可用显存为7443 MB。 II. 设置TensorFlow显存占用率 1. 按需动态分配显存（更灵活） config = t

参与评论您还未登录，请先登录后发表或查看评论

tensorflow2 设置显存按需增长

秋叶原的黑猫的博客

04-01

2032

关于tensorflow2如何使用GPU，网上有很多方法，包括但不限于：方法一：指定某块GPU import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" 实际使用中我只能指定CUDA_VISIBLE_DEVICES的参数为“2”，指定其他参数报错。但即便如此，跑代码的时候还是没有用到GPU。方法二：使用configproto()方法，控制GPU显存使用比例 import tensorflow as tf from keras.backend.tensorfl

tensorflow中显存分配

最新发布

weixin_44738399的博客

03-21

717

【代码】【无标题】

tensorflow_keras+GPU显存按需分配.doc

09-16

tensorflow_keras+GPU显存按需分配

TensorFlow2.x 设置显存使用

YaoJiawei329的博客

04-08

1058

记录一下使用TensorFlow遇到的第一个坑——显存管理。最开始不知道这个东西，每次跑完一遍都得重启…学习了Aurelier Geron的<<Hands-on Machine Learning with Scikit-learn, Keras & TensorFlow>>的第十九章才知道是咋回事。原文截图：按着我的习惯，是先开一个terminal用于监控显存使用，每秒刷新一次。 watch -n 1 nvidia-smi 在训练的时候，TensorFlow默认会用尽所

Tensorflow设置显存自适应,显存比例的操作

09-18

在 TensorFlow 中，`config.gpu_options.allow_growth=True` 这一设置允许 TensorFlow 在运行过程中动态分配和释放 GPU 显存，而不是一开始就预分配所有可用显存。这种自适应策略能够根据模型的运行情况，逐步增加...

解决Tensorflow占用GPU显存问题

12-20

2. **按需使用显存**：另一种方法是让TensorFlow动态地分配GPU显存，而不是一开始就全部预分配。这可以通过设置`allow_growth`为`True`来实现。以下是相应的代码示例： ```python from tensorflow.compat.v1 ...

tensorflow指定GPU与动态分配GPU memory设置

12-20

这里的`tf.ConfigProto()`创建了一个配置对象，通过`config.gpu_options.allow_growth = True`，我们可以让TensorFlow在运行过程中按需动态增长GPU内存，而不是一开始就分配所有可用内存。这样可以更有效地利用GPU...

tensorflow2.0 GPU显存设置

胭脂草的ABC博客

08-08

2981

遇到一个问题：新买显卡显存8G但是tensorflow运行的时候界面显示只有约6.3G的显存可用，如下图：即限制了我的显存，具体原因为什么我也不知道，但原来的显存小一些的显卡就没有这个问题。目前的解决办法是：官方文档解决然后对应的中文博客总结一下，就是下面的两个办法：设置每次使用时按需申请 # 获取所有GPU组成list gpus = tf.config.experimental.list_physical_devices('GPU') # 设置按需申请 # 由于我这里仅有一...

Tensorflow显存占用情况

qq_43532776的博客

06-29

1531

Tensorflow 显存占用情况在tensorflow中，如果不设置显存占用方式，那么默认会占用全部显存。这里将Tensorflow的显存使用方式设置为按需分配，观测其真实占用得而GPU显存资源情况，代码如下： # 代码参考 Tensorflow P219页 # 获取所有GPU设备列表 gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: try: # 设置 GPU 显存占用为按需分配，增长式 for gpu in

TensorFlow指定GPU设备、分配显存

热门推荐

Im_Chenxi的博客

05-09

1万+

一、使用GPU加速运算 1.TensorFlow程序中可以通过tf.device函数来指定运行的设备。 CPU名称为"/cpu:0"，即使有多个CPU，所有的CPU都使用/cpu:0作为名称。 GPU则不同，是"/gpu:n"，n可替换。n=0，即是第一个GPU，以此类推。 2.观察每个运算所用的设备：使用log_...

好玩的第一篇博客

qq_38279227的博客

07-15

249

test

tensorflow显存自适应分配（tf.1x和tf2.x）

荪荪的博客

06-19

2539

用tensorflow的同学肯定都知道，只要tf的程序运行起来就会默认占满显存，但实际上有些代码使用的数据量远远不需要使用全部显存，这样就造成了浪费，我们可以在代码前加上一些控制语句，使程序占用的显存智能一些。 # 指定显卡 import os os.environ["CUDA_VISIBLE_DEVICES"] = "0" ...... # tf1.x version # # 按比例配置显存 config = tf.ConfigProto() config.gpu_options.per_proce

tensorflow-gpu设置显存占用情况（Memory-Usage）

m0_55621747的博客

10-26

809

每次在服务器跑深度学习代码，我的数据量很小。但是内存直接占满。如下图可以设置内存占用情况。

tensorflow学习---GPU按需分配内存

huiqiangkkx的博客

02-22

567

GPU按需分配内存将下面这段代码放到模型最前面 import tensorflow as tf gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: # Restrict TensorFlow to only use the first GPU try: for i in range(len(gpus)): tf.config.experimental.set_memory_growth(gp

Tensorflow的GPU分配方法

looknm的专栏

08-03

2124

Tensorflow、多个GPU

tensorflow加载模型到指定GPU按需分配显存

05-09

在 TensorFlow 中，可以通过 `tf.config.experimental.set_visible_devices()` 方法来设置可见的 GPU 设备，并使用 `tf.config.experimental.set_memory_growth()` 方法来动态分配显存。以下是一个示例代码，加载模型并将其放置在第二个可见 GPU 上，并动态分配显存： ```python import tensorflow as tf # 设置可见 GPU 设备 visible_devices = tf.config.experimental.list_physical_devices('GPU') tf.config.experimental.set_visible_devices(visible_devices[1], 'GPU') # 动态分配显存 for gpu in visible_devices: tf.config.experimental.set_memory_growth(gpu, True) # 加载模型 model = tf.keras.models.load_model('my_model.h5') ``` 需要注意的是，`set_visible_devices()` 方法只能在 TensorFlow 2.1 及以上版本中使用。如果你的 TensorFlow 版本较低，可以使用 `CUDA_VISIBLE_DEVICES` 环境变量来设置可见的 GPU 设备。例如： ```python import os os.environ['CUDA_VISIBLE_DEVICES'] = '1' # 设置第二个可见 GPU import tensorflow as tf # 动态分配显存 config = tf.ConfigProto() config.gpu_options.allow_growth = True # 加载模型 sess = tf.Session(config=config) with sess.as_default(): model = tf.keras.models.load_model('my_model.h5') ``` 这种方法需要使用 `tf.Session()` 来创建会话，稍微麻烦一些。如果你的 TensorFlow 版本较新，建议使用第一种方法。