Tensorflow显存溢出

最新推荐文章于 2024-08-27 09:09:04 发布

人道主义

最新推荐文章于 2024-08-27 09:09:04 发布

阅读量4.3k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/u012743859/article/details/79437467

本文针对InternalError:Dsttensorisnotinitialized错误进行了解析，并提供了可能的解决方案——通过设置CUDA_VISIBLE_DEVICES环境变量来指定可见的GPU设备，以此解决GPU显存溢出的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错信息 一直是 InternalError: Dst tensor is not initialized.

然后显示一大堆信息，通过谷歌大部分找到的就是 GPU 显存溢出。然后

加上 CUDA_VISIBLE_DEVICES=1

Environment Variable Syntax Results

CUDA_VISIBLE_DEVICES=1 Only device 1 will be seen

CUDA_VISIBLE_DEVICES=0,1 Devices 0 and 1 will be visible

CUDA_VISIBLE_DEVICES="0,1" Same as above, quotation marks are optional

CUDA_VISIBLE_DEVICES=0,2,3 Devices 0, 2, 3 will be visible; device 1 is masked

这里注意的一点就是 CUDA_VISIBLE_DEVICES 必须大写。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

人道主义

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
3
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Tensorflow】学习笔记01：显存爆炸 UnkownError:Fail to find the dnn implementation.

weixin_43478658的博客

10-29

503

今天跑了一个GRU的代码用的是Tensorflow。但是老是出现显存爆炸的现象。

TensorFlow中GPU内存不足的报错与优化

最新发布

shejizuopin的博客

06-13

952

本文系统梳理了TensorFlow训练中GPU内存不足问题的常见报错和优化方法。显存溢出和分配失败是最典型报错，原因包括模型复杂度过高、批量设置不合理等。主要优化方案包括：减小批量大小、采用混合精度训练、启用XLA优化、模型剪枝量化、设置内存增长选项、梯度累积以及分布式训练。文章提供了详细的代码示例和参数对照表，指导开发者根据实际硬件条件和任务需求，选择合适方案解决显存不足问题，提升深度学习模型的训练效率。通过针对性配置，可以有效平衡显存占用与训练性能。

3 条评论您还未登录，请先登录后发表或查看评论

解决Tensorflow显存溢出的问题

Ben出没冇注意的博客

01-04

1753

import tensorflow as tf import tensorflow.keras.backend as K os.environ["TF_FORCE_GPU_ALLOW_GROWTH"] = "true" config = tf.ConfigProto() config.gpu_options.allow_growth = True sess = tf.Session(config=config) K.set_session(sess) 加入上面几.

使用FVD时遇到的问题记录：使用tensorflow时batch_size不变的情况下使用数据量更大的dataset发生了显存溢出(OOM)问题的解决

xdhsCS_cv_ml的博客

05-21

691

情况：计算 FVD 时，使用 dataset-1 时运行成功，使用数据量(data size)更大的 dataset-2 时运行失败。报错OOM：显存溢出。查找问题：比较两次计算时的 input video 的 data shape，发现成功的那个是：[2, 64, 224, 224, 3]，失败的那个是：[2, 180, 224, 224, 3]。注：shape各dim的含义是：[batch_size, num_frames, height, weight, depth] 发现不对劲：input 的

使用gpu版的tensorflow时出现OOM错误(显存溢出错误)： CUDA out of memory的解决办法。

m0_56192771的博客

03-15

5398

gpu版的tensorflow 在执行过程中会默认使用全部的 GPU 内存，给系统保留 200 M，但是在我的系统上会在分配内存时被拒绝导致报错，因此我们可以使用如下语句指定 GPU 内存的分配空间：下面以我自己的电脑为例，进行相关设置。因为我的电脑的显存是6G，所以我可以设置tensorflow程序运行时所占用的显存不能超过6G，这里限制在4G大小。 import tensorflow as tf #限制消耗固定大小的显存（程序不会超出限定的显存大小，若超出的报错）。 physical_gpus = t

tensorflow2总是爆显存的问题

不平凡之路

03-12

5642

最近在研究tensorflow2，在win环境下装了gpu版本，效率是高很多，但是出现几次爆显存的情况，就是显存被占满了，甚至机子直接黑屏的情况，查了一下资料，tensorflow默认是分配全部显存的，所以会导致显存爆掉。当然可以通过设置来调整： import os os.environ["TF_FORCE_GPU_ALLOW_GROWTH"] = "true" 实测，设置之后确实不存在爆显...

TensorFlow 显存使用机制详解

09-18

在进行大规模计算时，特别是在使用GPU进行加速时，理解TensorFlow如何管理GPU显存是非常关键的。本文将深入探讨TensorFlow的显存使用机制，以帮助优化性能和避免资源浪费。首先，TensorFlow 默认的行为是在启动时...

完美解决TensorFlow和Keras大数据量内存溢出的问题

12-17

内存溢出问题是参加kaggle比赛或者做大数据量实验的第一个拦路虎。以前做的练手小项目导致新手产生一个惯性思维——读取训练集图片的时候把所有图读到内存中，然后分批训练。其实这是有问题的，很容易导致OOM。...

tensorflow 限制显存大小的实现

09-18

当使用TensorFlow等深度学习框架进行模型训练时，如果显卡的显存不足，可能会导致训练过程异常中断或无法正常启动。这是因为TensorFlow默认情况下会尽可能多地使用显存资源。为了避免这种情况的发生，可以通过以下两...

Tensorflow与Keras自适应使用显存方式

09-16

然而，默认情况下，这两个库在使用GPU时会尽可能地占用所有可用显存，这可能导致在处理大型模型或分步训练时发生显存溢出的问题，从而中断程序运行。为了解决这个问题，我们可以采用自适应使用显存的方式，以更有效...

解决Tensorflow占用GPU显存问题

09-18

今天小编就为大家分享一篇解决Tensorflow占用GPU显存问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

运行在 GPU 上的 CUDA 软件存在缓冲区溢出漏洞：初步分析.pdf

12-07

国外一篇新论文，英文的，内容如题目所述是对CUDA软件上缓冲区溢出漏洞的初步分析。

tensorflow 循环引起的内存爆炸问题

LG的博客

01-19

5595

1.在循环时，将图定义好，只使用feed_dic 进行循环，不循环初始化整个图2. 循环 tf.global_variables_initializer() 也会造成内存爆炸

Tensorflow 程序内存泄漏+显存分配不足数据预处理

微积分，日子久了就是无穷积分

10-03

2952

1. 目的在循环中，从硬盘中读取每个batch 的图片。 2. 错误步骤及原因图片截取从here。 3. 修改方法方法一：可以将图片数据预处理部分不使用 tensor ,用的python 常见的numpy 等类型，这样就不会产生新的tensor 结点。 ...

tensorflow基本版本编程问题和显存爆掉问题记录

zazazaz1的博客

08-18

700

AttributeError: module ‘tensorflow’ has no attribute 'Session’错误解决 import tensorflow as tf tf.Session() 报错错误原因：报错AttributeError: module ‘tensorflow’ has no attribute ‘Session’。这是因为编程采用的是1.0的写法，但是在新的Tensorflow 2.0版本中已经移除了Session这一模块，解决办法有两个 1:改换运行代码 tf.c.

解决tensorflow模型加载时把GPU显存占满的问题(亲测效果显著)

白羊是小白

08-27

1684

【代码】解决tensorflow模型加载时把GPU显存占满的问题(亲测效果显著)

Tensorflow 2.0 GPU显存爆炸打问题及释放内存打方法

楠木大哥技术博客

08-16

9150

GPU 显存爆炸问题训练过程中及其容易将显存占满，需要限制显存打使用。 import tensorflow as tf gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: tf.config.experimental.set_virtual_device_configuration(gpus[0],[tf.config.experimental.VirtualDeviceConfiguration(memory_l

深度学习笔记：windows+tensorflow 指定GPU占用内存（解决gpu爆炸问题）

热门推荐

去向前方的博客

07-05

1万+

目录目录前言一、指定显卡二、限制GPU用量 1、设置使用GPU的百分比三、指定GPU并且限制GPU用量指定第一块GPU可用前言最近在使用深度学习，跑了一个大的model，然后GPU炸了，上网搜索了一下如何解决这个问题，做下笔记，分享给大家。 keras在使用GPU的时候有个特点，就是默认全部占满显存。这样如果有多个模型都需要使用GPU跑的话，那么限制是很大...

显存溢出

03-08

### 显存溢出错误解决方案显存溢出问题是深度学习项目中的常见难题，特别是在使用大型模型或大数据集时。针对这一问题，存在多种有效的应对策略。 #### 调整批处理大小批处理大小决定了每次迭代训练中所使用的样本数量。较大的批处理大小会占用更多的GPU内存。减小批处理大小能够显著降低单次计算所需资源量，进而有效缓解显存压力[^5]。 ```python batch_size = 16 # 尝试更小的批量尺寸 ``` #### 设置TensorFlow GPU显存限制对于采用TensorFlow框架的应用场景，可以通过编程手段设定GPU可用的最大显存量。此操作有助于防止因意外情况导致的过度分配现象，并确保应用程序始终处于安全范围内工作[^3]。 ```python import tensorflow as tf physical_gpus = tf.config.list_physical_devices("GPU") if physical_gpus: tf.config.experimental.set_virtual_device_configuration( physical_gpus[0], [tf.config.experimental.VirtualDeviceConfiguration(memory_limit=4096)] # 设定最大允许使用的显存容量为4GB ) logical_gpus = tf.config.list_logical_devices("GPU") ``` #### 利用显存分析工具优化代码借助专门设计用于监控和诊断Python应用性能瓶颈的记忆配置文件器——`memory_profiler`，开发者可以获得详细的内存消耗报告，识别潜在低效环节并加以改进[^2]。安装命令如下： ```bash pip install memory-profiler ``` 随后，在待测脚本顶部加入装饰器以启用跟踪功能： ```python from memory_profiler import profile @profile def my_function(): pass # 替换成具体函数体 ``` 通过执行上述措施组合拳的方式，通常能较好地控制住显存溢出现象的发生频率及其影响范围。