Tensorflow GPU显存一下占用满不能训练，已解决（tf2.0）

最新推荐文章于 2024-08-27 09:09:04 发布
最新推荐文章于 2024-08-27 09:09:04 发布
阅读量2.6k 收藏 17
点赞数 6
文章标签： tensorflow 深度学习 神经网络 gpu python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_49376111/article/details/113665580
版权
本文介绍了在TensorFlow中如何管理GPU内存，通过`tf.config.experimental.set_memory_growth`和`tf.config.experimental.set_virtual_device_configuration`来限制GPU内存使用，防止训练过程中出现因CuDNN初始化失败导致的错误。适合单GPU环境，对于多GPU配置未做尝试。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

导包完后输入

physical_gpus = tf.config.list_physical_devices("GPU")
tf.config.experimental.set_memory_growth(physical_gpus[0],True)
logical_gpus = tf.config.list_logical_devices("GPU")

或

physical_gpus = tf.config.list_physical_devices("GPU")
tf.config.experimental.set_virtual_device_configuration(
    physical_gpus[0],
    [tf.config.experimental.VirtualDeviceConfiguration(memory_limit=6000)]
)
logical_gpus = tf.config.list_logical_devices("GPU")

注：memory_limit是限制显存大小，我显卡8G，这里设置的6000MB

只针对单GPU，多GPU的话没尝试过。
logical_gpus必须写上，否则会训练时会出现以下错误：Failed to get convolution algorithm. This is probably because cuDNN failed to initialize, so try looking to see if a warning log message was printed above.

pl9632008
关注
tf2.0 GPU被无限制占用
苏打水的杯子的博客
02-27 764
tensorflow-gpu在训练程序的时候会自动将GPU占满，解决方法有两种： 方法一：在程序开头加入 # GPU内存占用设置：方法1 physical_gpus = tf.config.list_physical_devices("GPU") tf.config.experimental.set_virtual_device_configuration( physical_gpus[0], [tf.config.experimental.VirtualDeviceConfiguration(.
进程在运行时卡住，显存分配了却不开始训练（卡在Using /home/faith/.cache/torch_extensions as PyTorch extensions root...）
u013250861的博客
06-10 989
最后仔细分析了以下，这个代码可能有一些问题，因为我之前是用四张3090在训练，中途停电就中断了一下，当我重新运行的时候使用的是两张卡就出现了这种情况，所以我怀疑可能是 .cache 的原因，导致了进程卡死（两次运行环境和配置不同引起的）），将这个文件夹删除即可，可以重新生成.cache文件夹，然后就不会有冲突啦。无论怎么重新运行程序，或者改变线程或者显卡都一直卡在这里，没有继续训练。一般会在用户主目录下会有一个自动生成的。文件夹（有可能是隐藏状态，需要你打开。
tensorflow无法使用GPU训练（cuda版本问题）
oh_yes_my的博客
04-09 2069
今天使用tensorflow，想要用GPU训练，发现一直无法使用，于是网上搜索代码，查看本地是否能找到gpu（本人配置cuda11.0 tensorflow2.4.0） import tensorflow as tf gpus = tf.config.list_physical_devices(device_type='GPU') cpus = tf.config.list_physical_devices(device_type='CPU') print(gpus, cpus) 结果只显示CPU，错误
Tensorflow100%占用GPU内存
qq_38380853的博客
06-26 1651
Tensorflow占用GPU内存问题解决办法
针对Win10 Tensorflow-2.x 训练 线程冻结(假死、卡住、几个epoch后、中途停滞、CPU占用0%) 等问题的排查总结
weixin_42122722的博客
12-21 6652
针对Win10 Tensorflow-2.4 训练 线程冻结(假死、卡住、中途停滞、CPU占用0%) 等问题的排查总结 0.前言（事情很复杂） 事件背景如下：30系显卡出来后，需要针对8.6算力对TensorFlow2.x进行重新编译，才可顺畅使用，若非重新编译，每次运行都会进行一次预编译，及其浪费时间。一般的，大家会选择一下两种办法： 1 等官方编译发行到:[PyPI](https://pypi.org/project/tensorflow/#history) ......
TensorFlow学习- GPU显存占满而利用率（util）很低原因&提高方法
m0_38064529的博客
11-20 2万+
2080的显卡，跑YOLOv3，显存已经满了，显卡利用率却只有7% 百度了一圈，看到几篇比较靠谱的博客，直接贴链接 参考1 TensorFlow如何提高GPU训练效率和利用率 ...
tensorflow-gpu不能调用gpu调用cpu训练的解决办法
qq_43263543的博客
11-22 3235
好端端的，突然发现自己用tensorflow-gpu训练的时候cpu占用99%，可让我捏了一把汗。用nvidia-smi -l发现自己gpu根本就没有被调用。 我的环境是cuda10.1 cudacnn7.6 tensorlow-gpu 1.15.0 keras2.4.2 用命令在anaconda prompt试了一下， import tensorfow tf.test.gpu_device_name() 这个问题去C:\Program Files\NVIDIA GPU Computing Toolkit
tensorflow使用GPU训练时的显存占用问题
confuciust的专栏
01-05 4219
转自：https://www.cnblogs.com/helloyy/p/7878201.html 查看机器上GPU情况 命令： nvidia-smi 功能：显示机器上gpu的情况 命令： nvidia-smi -l 功能：定时更新显示机器上gpu的情况 命令：watch -n 3 nvidia-smi 功能：设定刷新时间（秒）显示GPU使用情况 其中左上侧有0、1、2、3的编号，
tensorflow占满gpu显存的解决方法
weixin_38284256的博客
06-17 1577
tensorflow如何控制gpu显存的方法网上有很多，d fromtensorflow.python.clientimportdevice_lib devices=device_lib.list_local_devices()
解决TensorFlow程序无限制占用GPU的方法
09-16
然而，在实际使用过程中，有时会出现TensorFlow程序无限制地占用GPU资源的情况，这不仅会导致训练过程变得不稳定，还可能引起计算机系统性能下降甚至崩溃。本文将详细介绍如何解决TensorFlow程序无限制占用GPU的问题...
tensorflow2.0 GPU显存管理
justinnnine的博客
12-16 1917
在默认情况下，tensorflow为避免显存碎片化，会使用所有显存投入到计算。在这种情况，容易出现Blas GEMM launch failed错误。因此，需要对tensorflow的显存使用进行限制。在tensorflow官网中，给出了两种方法： 第一种方法是随调随用，即在初始的时候只使用少量显存，然后在计算过程中逐步增加显存。主要调用函数是tf.config.experimental.set_...
tensorflow使用GPU训练
ftfy123的博客
03-04 1万+
1. 查看gpu的使用详情： （1）查看gpu使用情况 nvidia-smi.exe # windows上 nvidia-smi -l #linux服务器上 # 显示的结果中 Volatile GPU-Util：浮动的GPU利用率； （2）linux上查看进程占用gpu的情况： ##实用技巧： ##如果你在linux终端运行深度学习python脚本文件，运行中发现占用多个GPU和内存...
Keras以及Tensorflow强制使用CPU，GPU
热门推荐
mjiansun的专栏
08-23 4万+
Keras如果是使用Theano后端的话，应该是自动不使用ＧＰＵ只是用ＣＰＵ的，启动ＧＰＵ使用Theano内部命令即可。  对于Tensorflow后端的Keras以及Tensorflow会自动使用可见的ＧＰＵ，而我需要其必须只运行在ＣＰＵ上。网上查到三种方法，最后一种方法对我有用，但也对三种都做如下记录： 使用tensorflow的 with tf.device('/cpu:0'):函数。简单...
Tensorflow训练模型默认占满所有GPU---解决方案
wenroudebaozi的博客
08-06 3373
在使用gpu服务器训练tensorflow模型时，总是占满显存！ TensorFlow默认的是占用所有GPU 因此我们需要手动设置使用的GPU编号以及单个GPU显存占用比例 1.第一步需要在代码中开头加入 import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" # 将设备中所有GPU按照 os.environ["CUDA_VISIBLE_DEVICES"]=‘0’ # 使用0号gpu（想使用其他编号GPU，对应修改引号中的内容即可） os.env
解决tensorflow模型加载时把GPU显存占满的问题(亲测效果显著)
白羊是小白
08-27 1494
【代码】解决tensorflow模型加载时把GPU显存占满的问题(亲测效果显著)
tensorflow1、2设置不占满显存
yangchen1024的博客
09-06 1035
Preface tensorflow的默认调度策略是吃满显存，如果我们模型较小、显存较大、占用率不足40%（自己估计的）时，是可以利用GPU同时训练两个模型的。 tensorflow 1 config = tf.ConfigProto() config.gpu_options.allow_growth = True sess = tf.Session(config=config) tensorflow 2 gpus = tf.config.list_physical_devices(device_type
Cudnn占用大量内存问题
XCCCCZ的博客
09-30 1230
近来在对一个3D图像识别模型做部署裁剪时发现，做了一些有效的裁剪后，模型启动后占用的内存虽然减少了两三百个M，但是再继续对网络做裁剪缺减少不明显了，包含封装调用这个模型的deepstream插件在内始终占用800多个M，感觉很奇怪，于是花了些时间，捣腾琢磨网络本身的C++实现代码，找出哪些代码执行后占用了可观的内存，最后发现，其他跟训练有关的可减的都减了也没见省多少内存，但是模型启动的过程中，当cudnn的API被第一次调用时，启动有卡顿，同时看着内存一路不停飙升，把相关网络层的代码注释掉试试，...
关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢
oneself的博客
12-07 9191
关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢
tensorflow的gpu
最新发布
03-25
<think>好的，我现在需要帮助用户了解如何在TensorFlow中设置和使用GPU。首先，我应该整理用户提供的引用内容，这些引用包含了不同版本的TensorFlow配置信息，包括环境变量设置、GPU内存管理、不同操作系统的注意事项，以及版本兼容性问题。 首先，用户的问题是关于TensorFlow中GPU的设置和使用方法。我需要从引用中提取关键点。引用[1]提到TensorFlow的GPU使用相关设置，包括使用`tf.config.experimental.set_memory_growth`来设置内存增长，以及使用`MirroredStrategy`进行分布式训练。引用[2]讨论了如何通过环境变量`TF_CPP_MIN_LOG_LEVEL`来抑制警告，以及如何从源码构建TensorFlow以优化CPU性能，但用户关注的是GPU，这部分可能次要。引用[3]指出在TensorFlow 2.12及以上版本中，Windows的GPU支持被取消，但2.6.0版本仍可用，用户可能需要版本兼容性信息。引用[4]提到在Windows环境下使用特定版本的Python、TensorFlow和CUDA版本，例如TensorFlow 1.15需要CUDA 10。 接下来，我需要按照用户的要求，结构清晰地分步骤说明如何设置和使用GPU。需要涵盖以下内容： 1. **确认GPU可用性**：使用`tf.test.is_gpu_available()`或`tf.config.list_physical_devices('GPU')`来检查GPU是否被TensorFlow识别。同时要提醒用户安装正确的CUDA和cuDNN版本，不同TensorFlow版本对应的CUDA版本不同，比如引用[4]中的TensorFlow 1.15需要CUDA 10。 2. **配置GPU内存**：根据引用[1]和[3]，可以使用内存增长模式或设置显存限制。例如，使用`tf.config.experimental.set_memory_growth`来动态分配显存，或者用`tf.config.set_logical_device_configuration`来限制显存使用量。 3. **多GPU设置**：引用[1]提到使用`MirroredStrategy`进行多GPU训练，需要说明如何应用该策略，如`strategy = tf.distribute.MirroredStrategy()`，然后在`strategy.scope()`下定义模型。 4. **环境变量设置**：引用[2]中提到设置`TF_CPP_MIN_LOG_LEVEL`来减少日志输出，这可能对用户有用，可以放在优化配置部分。 5. **版本兼容性注意事项**：特别是对于Windows用户，引用[3]指出TensorFlow 2.12及以上不支持GPU，需要安装旧版本如2.6.0。同时，引用[4]中的例子显示TensorFlow 1.15需要CUDA 10，而较新版本可能需要更高版本的CUDA。 6. **代码示例**：给出如何检查GPU、配置内存、使用多GPU策略的代码片段，确保使用正确的LaTeX格式，如行内代码用$...$，独立代码块用```python。 此外，用户要求生成相关问题，可能需要围绕安装问题、性能优化、多GPU策略、版本兼容性等方面提问。 需要确保回答符合系统级指令，正确使用LaTeX格式，例如在行内提到函数时使用`$tf.test.is_gpu_available()$`，但注意这可能不需要LaTeX而是代码格式，这里可能需要澄清。但根据示例中的代码块，应该使用代码块而非LaTeX。可能用户希望技术术语或数学公式用LaTeX，但代码示例用代码块。需要仔细检查示例中的情况。 例如，在示例中，快速排序的代码块用```python，而数学公式如$x^2$用$...$。因此，在回答中，提到TensorFlow函数时应该用代码块，而数学公式或变量用LaTeX。 可能还需要注意引用标识的位置，在相关说明后自然添加，如引用[^1]、[^2]等。 现在，组织内容结构： 1. **检查GPU是否可用**：代码示例，说明如何检查，并提醒安装CUDA/cuDNN。 2. **配置GPU内存管理**：动态增长和显存限制两种方法，代码示例。 3. **多GPU训练策略**：使用MirroredStrategy，代码示例。 4. **环境变量与日志控制**：设置TF_CPP_MIN_LOG_LEVEL。 5. **版本与系统兼容性**：Windows用户的注意事项，版本对应CUDA的要求。 在每个部分末尾，添加对应的引用标记，例如在提到内存增长时引用，在环境变量时引用，在Windows版本时引用[^3]和[^4]。 最后，生成相关问题，例如如何检查GPU是否被正确使用，如何处理显存不足，多GPU训练方法，Windows下的安装问题等。 确保回答使用中文，结构清晰，分步骤说明，代码正确，引用正确。</think>### 如何在 TensorFlow 中设置和使用 GPU？ 以下是配置和使用 TensorFlow GPU 的详细步骤： --- #### 1. **确认 GPU 可用性** 首先检查 TensorFlow 是否能识别到 GPU： ```python import tensorflow as tf # 检查 GPU 是否可用 print("GPU 可用性:", tf.test.is_gpu_available()) # 或列出所有物理 GPU 设备 print("GPU 设备列表:", tf.config.list_physical_devices('GPU')) ``` 如果输出显示 GPU 未被识别，需安装对应的 **CUDA 工具包**和 **cuDNN 库**。例如： - TensorFlow 2.6.0 需要 CUDA 11.2 和 cuDNN 8.1[^3]。 - TensorFlow 1.15 需要 CUDA 10 和 cuDNN 7。 --- #### 2. **配置 GPU 内存管理** TensorFlow 默认占用全部 GPU 显存，可通过以下方式优化： ##### 方法一：动态内存增长 ```python gpus = tf.config.list_physical_devices('GPU') if gpus: try: # 启用动态内存分配 for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True) except RuntimeError as e: print(e) # 需在程序启动时配置 ``` ##### 方法二：限制显存使用上限 ```python # 设置单 GPU 显存限制为 4GB tf.config.set_logical_device_configuration( gpus[0], [tf.config.LogicalDeviceConfiguration(memory_limit=4096)] ) ``` --- #### 3. **多 GPU 训练** 使用 `MirroredStrategy` 实现数据并行： ```python strategy = tf.distribute.MirroredStrategy() with strategy.scope(): # 在作用域内定义模型和优化器 model = tf.keras.Sequential([...]) model.compile(optimizer='adam', loss='mse') model.fit(train_dataset, epochs=10) ``` 此策略会将模型复制到每个 GPU，并同步梯度更新[^1]。 --- #### 4. **环境变量设置** - **禁用冗余日志**（Unix 系统）： ```bash export TF_CPP_MIN_LOG_LEVEL=2 # 只显示错误信息 ``` - **指定使用某块 GPU**： ```bash export CUDA_VISIBLE_DEVICES=0 # 仅使用第一块 GPU ``` --- #### 5. **版本与系统兼容性** - **Windows 用户注意**：TensorFlow ≥2.12 不再支持 Windows GPU，建议使用 2.6.0 版本。 - **Linux/Unix**：可通过源码编译以支持 CPU 指令集（如 AVX2）提升性能。 --- ### 常见问题示例 ```python # 示例：检查 GPU 是否参与计算 a = tf.constant([1.0, 2.0], dtype=tf.float32) b = tf.constant([3.0, 4.0], dtype=tf.float32) c = a + b print("计算结果设备:", c.device) # 应显示 GPU 设备名 ``` ---
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值