tensorflow使用GPU训练时的显存占用问题

最新推荐文章于 2022-10-30 17:23:40 发布
转载 最新推荐文章于 2022-10-30 17:23:40 发布 · 4.2k 阅读 · 5
文章标签：

#nv

本文介绍如何使用nvidia-smi命令查看GPU状态，并通过CUDA_VISIBLE_DEVICES环境变量指定可见GPU。此外，还介绍了如何在Python代码中指定GPU及设置GPU内存使用策略。

转自：https://www.cnblogs.com/helloyy/p/7878201.html

查看机器上GPU情况

命令： nvidia-smi

功能：显示机器上gpu的情况

命令： nvidia-smi -l

功能：定时更新显示机器上gpu的情况

命令：watch -n 3 nvidia-smi

功能：设定刷新时间（秒）显示GPU使用情况

其中左上侧有0、1、2、3的编号，表示GPU的编号，在后面指定GPU时需要使用这个编号。

在终端执行程序时指定GPU

CUDA_VISIBLE_DEVICES=1 python your_file.py

这样在跑你的网络之前，告诉程序只能看到1号GPU，其他的GPU它不可见

可用的形式如下：

CUDA_VISIBLE_DEVICES=1 Only device 1 will be seen
CUDA_VISIBLE_DEVICES=0,1 Devices 0 and 1 will be visible
CUDA_VISIBLE_DEVICES=”0,1” Same as above, quotation marks are optional
CUDA_VISIBLE_DEVICES=0,2,3 Devices 0, 2, 3 will be visible; device 1 is masked

CUDA_VISIBLE_DEVICES=”” No GPU will be visible

在Python代码中指定GPU

import os

os.environ[“CUDA_DEVICE_ORDER”] = “PCI_BUS_ID”
os.environ[“CUDA_VISIBLE_DEVICES”] = “0”

设置定量的GPU使用量

config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.9 # 占用GPU90%的显存
session = tf.Session(config=config)

设置最小的GPU使用量

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

tensorflow使用GPU训练
ftfy123的博客
03-04 1万+
1. 查看gpu的使用详情： （1）查看gpu使用情况 nvidia-smi.exe # windows上 nvidia-smi -l #linux服务器上 # 显示的结果中 Volatile GPU-Util：浮动的GPU利用率； （2）linux上查看进程占用gpu的情况： ##实用技巧： ##如果你在linux终端运行深度学习python脚本文件，运行中发现占用多个GPU和内存...
运行在 GPU 上的 CUDA 软件存在缓冲区溢出漏洞：初步分析.pdf
12-07
国外一篇新论文，英文的，内容如题目所述是对CUDA软件上缓冲区溢出漏洞的初步分析。
Tensorflow GPU显存一下占用满不能训练，已解决（tf2.0）
m0_49376111的博客
02-04 2687
导包完后输入 physical_gpus = tf.config.list_physical_devices(“GPU”) tf.config.experimental.set_memory_growth(physical_gpus[0],True) logical_gpus = tf.config.list_logical_devices(“GPU”) 或 physical_gpus = tf.config.list_physical_devices(“GPU”) tf.config.experiment
深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
qq_41568188的博客
06-02 6382
在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。** GPU内存占用率问题 这往往是由于模型的大小以及batch size的大小，来影响这个指标。当你发下你的GPU占用率很小的时候，比如40%，70%
Tensorflow显存溢出
u012743859的博客
03-04 4360
报错信息 一直是 InternalError: Dst tensor is not initialized. 然后显示一大堆信息，通过谷歌大部分找到的就是 GPU 显存溢出。然后 加上 CUDA_VISIBLE_DEVICES=1 Environment Variable Syntax                               Results CUDA_VISIBL
解决Tensorflow占用GPU显存问题
12-20
在使用TensorFlow进行深度学习模型训练时，遇到GPU显存管理问题是非常常见的。尤其是在将PyTorch模型转换为TensorFlow模型后，可能会发现TensorFlow会默认占用所有可用的GPU显存，即使模型本身并未完全利用这些资源...
Linux中tensorflow2使用GPU训练模型
weixin_43845922的博客
10-30 1918
tf
Tensorflow模型GPU使用率低的问题
YEnh的唐伯虎的博客
10-05 4214
Tensorflow模型GPU使用率低的问题和分析
自定显存清除工具
12-10
通过设置不一样的分辨率，达到定时清除显存的目的。
CUDA入门：硬件模型入门与性能优化
m0_56399931的博客
05-21 2039
最上方是主机端内存(host memory)，指的就是我们常说的内存。一般主机端内存通过PCI-E总线与设备端内存交换数据。数据交换的速度等于PCI-E总线的速度。 全局内存(global memory) 、常量内存(constant memory)、纹理内存(texture memory)、本地内存(local memory)。都位于GPU板上，但不在片内。因此速度相对片内内存较慢。 常量内存和纹理内存对于GPU来说是只读的。 GPU上有 L2 cache和 L1 cahce。其中L2 cache为所有流
解除tensorflow-gpu占用显存限制
lijiamingccc的博客
08-17 2095
笔者发现RTX3070 8G的显卡，在tensorflow只能调用5488MB，大概5G左右 因为存在memory_limit的限制。 如图所示： 为了解除这种限制，发挥显卡在深度学习中的最大作用，特意在网上寻找方法，终于找到解决方案 如下代码所示： physical_gpus = tf.config.list_physical_devices("GPU") tf.config.experimental.set_virtual_device_configuration( physical_.
Tensorflow 2.0 GPU显存爆炸打问题及释放内存打方法
楠木大哥技术博客
08-16 9197
GPU 显存爆炸问题 训练过程中及其容易将显存占满，需要限制显存打使用。 import tensorflow as tf gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: tf.config.experimental.set_virtual_device_configuration(gpus[0],[tf.config.experimental.VirtualDeviceConfiguration(memory_l
Tensorflow中因未释放计算图而导致显存爆炸运行越来越慢的问题
绯荔榭•少年
08-16 3747
Tensorflow中因未释放计算图而导致显存爆炸运行越来越慢的问题 问题描述 在一次模型修改中，因为需要在每运行一个batch时，调用另外一个模型计算相关的embedding导入进来当前模型，所以导致了会出现类似以下的调用方式： for batch in batches: with tf.Session() as sess: tfops = ...
java内存泄漏
YangYoung_的博客
10-10 1581
所谓的内存泄漏不是说内存坏掉了，内存溜出去了，而是因为线程进行中一直占用了某块内存无法进行GC，这块内存之后永远都无法被使用，导致这块内存像是没有了一样，嗯哼
模型训练时GPU利用率太低的原因
热门推荐
weixin_43213895的博客
08-23 1万+
最近在训练SSD模型时发现GPU的利用率只有8%，而CPU的利用率却非常高。 后来了解到，一般使用CPU进行数据的读取和预处理，而使用GPU进行模型的正向传播和反向传播。由于CPU数据读取跟不上（读到内存+多线程+二进制文件），而GPU的处理速度太快，导致GPU的利用率不高。 问题的解决办法： 1，关闭一些日志记录； 2，NVIDA提供了DALI库，可以将数据处理转移到GPU上。 ...
tensorflow——gpu运行时显存不够的话如何使用共享显存
最新发布
10-16
<think>根据用户需求，用户希望在使用TensorFlow GPU运行时显存不足的情况下利用共享显存。根据引用内容，对于支持DX12的显卡，可以通过安装特定的包来启用共享显存。 引用内容提到：安装tensorflow-cpu/pytorch-cpu和微软的tensorflow-directml-plugin/pytorch-directml-plugin，就可以通过DirectX 12运行，这样深度学习框架就可以使用共享显存。但是这里有一个关键点：用户当前使用的是TensorFlow GPU版本，而引用中建议安装的是tensorflow-cpu版本。这似乎与用户当前的环境冲突。 实际上，引用中描述的方法是通过DirectML（DirectX 12的机器学习扩展）来利用共享显存，这通常是在没有NVIDIA显卡的情况下使用AMD或Intel显卡时的解决方案。而用户的问题是基于TensorFlow使用GPU运行时（通常指NVIDIA GPU）显存不足的情况。 因此，需要区分两种情况： 1. 使用NVIDIA GPU（通常支持CUDA）时显存不足的解决方案。 2. 在没有NVIDIA GPU的系统中（如使用AMD或Intel集成显卡）使用共享显存。 根据用户的问题，用户当前是使用GPU运行时（即NVIDIA GPU）显存不足，那么解决方案应该围绕如何让TensorFlow在NVIDIA GPU上使用共享显存（即系统内存）展开。 对于NVIDIA GPU，当显存不足时，TensorFlow默认不会自动使用系统内存（共享显存）。但我们可以通过配置TensorFlow来允许GPU显存增长，这样可以在显存不足时使用系统内存作为补充。 具体步骤： 1. 允许GPU显存动态增长：通过设置`tf.config.experimental.set_memory_growth`，这样TensorFlow会按需分配显存，而不是一开始就占用所有显存。但这并不能直接使用系统内存作为显存。 2. 设置虚拟设备并启用内存扩充：从TensorFlow 2.2开始，支持将CPU内存作为GPU内存的扩展。这可以通过创建虚拟GPU设备并设置内存限制，然后启用内存扩充（memory expansion）功能来实现。 然而，实际上，TensorFlow并没有直接提供“共享显存”的配置选项（即使用系统内存作为显存）。在NVIDIA GPU上，当显存不足时，通常的做法是： - 减少批量大小。 - 使用梯度累积。 - 使用更小的模型。 - 使用混合精度训练。 但有一种技术称为“内存分页”（memory paging），即当GPU显存不足时，自动将部分数据转移到CPU内存，但这会严重影响性能。 在TensorFlow中，我们可以通过设置`tf.config.experimental.set_virtual_device_configuration`来配置虚拟GPU设备，并设置一个较小的显存限制，这样当显存超出限制时，TensorFlow会使用主机内存（系统内存）作为补充。但请注意，这会导致性能下降。 配置示例： ```python gpus = tf.config.list_physical_devices('GPU') if gpus: # 设置虚拟GPU设备，限制显存为2GB，并允许内存扩充（使用系统内存） tf.config.set_logical_device_configuration( gpus[0], [tf.config.LogicalDeviceConfiguration(memory_limit=2048)]) # 单位是MB logical_gpus = tf.config.list_logical_devices('GPU') print(len(gpus), "Physical GPU,", len(logical_gpus), "Logical GPUs") ``` 这样，当显存使用超过2GB时，TensorFlow就会使用系统内存。但是，这种方式下，系统内存的使用是由TensorFlow自动管理的，不需要额外安装插件。 另外，引用中提到的tensorflow-directml-plugin是针对非NVIDIA显卡的，不适用于用户当前的情况（使用NVIDIA GPU）。 因此，针对用户的具体情况（使用NVIDIA GPU且显存不足），推荐的方法是： 1. 配置虚拟设备以限制GPU显存使用并允许使用系统内存（如上代码所示）。 2. 或者，使用`tf.config.experimental.set_memory_growth`（动态显存增长），这样虽然不会直接使用系统内存，但可以避免一开始就占用全部显存，从而让其他需要显存的操作有机会执行。 动态显存增长的配置： ```python gpus = tf.config.list_physical_devices('GPU') if gpus: try: for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True) except RuntimeError as e: print(e) ``` 注意：使用虚拟设备设置显存限制并允许内存扩充的方式，在TensorFlow官方文档中称为“内存扩充”，但实际使用时，性能可能会受到较大影响。因此，建议优先考虑优化模型或数据。 综上所述，回答用户问题： 用户希望在使用TensorFlow GPU运行时显存不足时使用共享显存（即系统内存）。对于NVIDIA GPU，可以通过配置虚拟GPU设备并设置显存限制，从而允许TensorFlow在显存不足时使用系统内存。具体配置代码如上。但请注意，这可能会显著降低训练速度，因为系统内存的访问速度远低于显存。 因此，建议用户： 1. 首先尝试优化模型和减小批量大小。 2. 如果必须使用共享显存，则按照上述虚拟设备配置方法进行设置。 引用中提到的tensorflow-directml-plugin不适用于NVIDIA GPU，因此无需安装。 </think>### TensorFlow GPU运行时显存不足时使用共享显存的方法 当TensorFlow GPU运行时遇到显存不足时，可以通过以下步骤启用共享显存（系统内存+显存组合使用）： #### 解决方案步骤（支持DX12的显卡） 1. **安装必要组件**： ```bash pip install tensorflow-cpu pip install tensorflow-directml-plugin ``` 2. **启用DirectML共享显存**（在Python代码中配置）： ```python import tensorflow as tf # 启用DirectML后端 tf.config.experimental.set_directml_device() # 验证可用设备（应显示DML设备） print(tf.config.list_physical_devices('Device')) ``` 3. **显存配置**（可选）： ```python # 设置显存使用策略 physical_devices = tf.config.list_physical_devices('Device') tf.config.set_logical_device_configuration( physical_devices[0], [tf.config.LogicalDeviceConfiguration(memory_limit=4096)] # 限制专用显存使用量（MB） ) ``` #### 关键原理说明 1. **共享显存机制**： - 通过`tensorflow-directml-plugin`启用DirectX 12 API - DirectML将系统内存作为显存扩展，类似游戏引擎的内存管理[^1] - 当GPU专用显存不足时自动调用共享内存空间 2. **适用场景**： - 显存需求 > GPU物理显存容量的模型 - 集成显卡/入门级独显设备 - 需要大batch size的场景 #### 注意事项 1. **硬件要求**： - 仅支持Windows 10/11（Linux/Mac需虚拟机） - 显卡需支持DirectX 12（NVIDIA 900系+/AMD Rx 300系+/Intel HD 4000+） 2. **性能影响**： - 共享显存速度比专用显存慢3-8倍 - 建议仅用于推理或小型训练任务 - 大规模训练推荐升级硬件或使用云GPU > 📌 **替代方案**：若使用NVIDIA显卡，考虑`TF_FORCE_GPU_ALLOW_GROWTH=true`与环境变量组合，但无法直接调用共享显存[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值