keras+tensorflow出现的内存溢出问题解决方法

最新推荐文章于 2023-03-01 18:45:00 发布

原创最新推荐文章于 2023-03-01 18:45:00 发布 · 2.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#keras #tensorflow

部署运行你感兴趣的模型镜像

做实验的时候要求个testaccuracy的稳定值，所以在loop里跑了model，但是内存溢出。搜了各种博客github等，大多给出的答案是在运行完模型之后加一句k.clear_session()。但是我的实际情况是加上这句话后程序会被终止process finished with exit code -1073741819 0xc0000005
解决办法：keras降级到2.1.6 之前自己的版本是keras2.2.4，tensorflow1.8
参考：https://github.com/keras-team/keras/issues/2102

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。它提供了一个灵活的平台,用于构建和训练各种机器学习模型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

EdithXu

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Debug Tensorflow: 随着训练进行，内存消耗越来越大

yuetan的博客

01-04

1895

环境 ubuntu 18.04 Python 3.8 TensorFlow-gpu 2.3.1 CUDA 11.1 问题训练时消耗内存越来越多，直到内存完全被占用，服务器连接被迫断开。无报错解决方案监控linux内存情况安装memory-profiler 定位问题所在 from memory_profiler import profile fp=open('memory_profiler.log','w+') @profile(stream=fp) def train_

tensorflow2.0 对超参数进行寻优的时候，不断加载模型产生OOM（即内存泄露）问题，该怎么解决呢？

qq_35869630的博客

08-22

1885

在平时某个项目的时候，在完成对模型结构的建模之后，还需要对模型的训练超参数进行一个寻优过程，当然这个结构建模过程也是可以进行参数寻优的。但这个不是重点，重点在于我们在进行超参数寻优的过程中，如果需要不断的加载模型进内存， ...

1 条评论您还未登录，请先登录后发表或查看评论

解决tensorflow训练时内存持续增加并占满的问题

09-18

今天小编就为大家分享一篇解决tensorflow训练时内存持续增加并占满的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

完美解决TensorFlow和Keras大数据量内存溢出的问题

12-17

内存溢出问题是参加kaggle比赛或者做大数据量实验的第一个拦路虎。以前做的练手小项目导致新手产生一个惯性思维——读取训练集图片的时候把所有图读到内存中，然后分批训练。其实这是有问题的，很容易导致OOM。现在内存一般16G，而训练集图片通常是上万张，而且RGB图，还很大，VGG16的图片一般是224x224x3，上万张图片，16G内存根本不够用。这时候又会想起——设置batch，但是那个batch的输入参数却又是图片，它只是把传进去的图片分批送到显卡，而我OOM的地方恰是那个“传进去”的图片，怎么办？解决思路其实说来也简单，打破思维定式就好了，不是把所有图片读到内存中，而是只把所有图片的

Tensorflow内存溢出问题

lrt366的博客

07-25

2471

本文总结了Tensorflow内存溢出的各种原因，以及在此排查过程中使用的方法。本文在实现Tensorflow模型的保存(save)和重新调用(restore)过程中，程序总是发生内存溢出而中止的问题，所以对其进行故障排查。排查工具及步骤 1. Tensorboard Tensorboard是Tensorflow提供的向用户展示模型结构以及运行结果等的可视化工具。当Tensorflow相...

tensorflow 内存泄漏、内存不足

热门推荐

Double_V的博客

09-28

2万+

tensorflow内存泄露

tensorflow2.0内存溢出解决办法

weixin_43827767的博客

05-30

1235

tensorflow2.0内存溢出解决办法一、tf CUDA_ERROR_OUT_OF_MEMORY: out of memory 二、tf2.0 physical_devices = tf.config.experimental.list_physical_devices('GPU') if len(physical_devices) > 0: for k in range(len(physical_devices)): tf.config.experimental.se

tensorflow2.x 在Python中持续加载模型导致内存泄露

weixin_43913603的博客

11-12

2308

关于tensorflow2.3警告问题，cpu内存不断增长在使用tensorflow2.0以后版本的模型去predict()的时候，会出现一下警告： warning "5 out of the last calls to <function xxx> triggered tf.function retracing",tracing is expensive... 我在遇到这个问题的时候在网上查了很多，但是大部分都是在模型建立，进行模型训练的时候出现的问题。并且大家用的大多是tensorf

TensorFlow和Keras解决大数据量内存溢出问题

leadai的博客

04-18

2万+

NVIDIA DLI 深度学习入门培训 | 特设三场！4月28日/5月19日/5月26日一天密集式学习快速带你入门阅读全文>正文共5771个字，1张图，预计阅读...

由于循环调用tensorflow.keras.predict导致的内存泄漏问题

qq_59975945的博客

03-01

1351

由于循环调用tensorflow.keras.predict导致的内存泄漏问题

Keras 快速解决OOM超内存的问题

12-17

如果在Keras内部多次使用同一个Model，例如在不同的数据集上训练同一个模型进而得到结果，会存在内存泄露的问题。在运行几次循环之后，就会报错OOM。解决方法是在每个代码后面接clear_session()函数，显示的关闭TFGraph，再重启。详情参考 https://keras.io/backend/#backend-functions。 from keras import backend as K K.clear_session() 补充知识：Keras多次加载模型进行测试时内存溢出的解决方法在进行实验的过程中，保存了每个epoch的模型参数文件，需要验证每个保存的模型的效果

解决Tensorflow sess.run导致的内存溢出问题

12-20

在使用TensorFlow进行深度学习模型推理时，可能会遇到内存溢出的问题，特别是在批量处理大量数据时。本案例中，问题发生在`sess.run()`这一关键步骤，它负责执行计算图中的操作并返回结果。以下是针对这个问题的详细...

Tensorflow 在训练中的内存溢出以及线程安全问题

u012560212的博客

11-20

3117

tensorflow

爱奇艺 TensorFlow Serving 内存泄漏优化实践

Clement

10-22

730

文章目录一、背景介绍二、模型特征 Raw Serving Tensor输入三、服务突增高并发请求四、总结五、参考文献 TensorFlow Serving由于其便捷稳定的特点在CTR(Click-through Rate，点击率)预估业务场景被广泛的使用，但是其运行时会出现内存不断增长的问题，也不断有相关issue被提交到Github社区，且目前都是Open状态。本文分享了爱奇艺深度学习平台在实践中发现的两个TensorFlow Serving内存泄漏问题，并修复和提交了 PR 到社区，这里将详细介绍问题

Tensorflow 内存泄漏问题

代码大萝卜的博客

08-13

3200

session和graph没有释放内存。使用了with关键字可以在session异常退出时也释放内存，否则要用session.close()关闭session。代码如下： session一定要释放： with tf.Seesion() as session: # 在session内部加载保存好的graph saver = tf.train.import_meta_graph('...

tensorflow利用for循环进行训练遇到的内存爆炸问题(OOM)

noblaker的博客

03-24

7309

最近在用tensorflow学习模型的知识蒸馏，自己基于cifar10数据集训练得到的teacher模型，在对3种不同参数量的student模型使用相同的alpha和temperature参数进行蒸馏之后，得到的实验结果均与论文结果相反（论文：Distilling the Knowledge in a Neural Network）所以自己打算用循环方式遍历多种alpha，temperature的参数组合来对比蒸馏效果（不想自己手动调参了.jpg，在notebook里一遍遍调完参重新跑然后保存数据真难顶.

Keras多次加载模型进行测试时内存溢出的解决方法

anuory的博客

05-20

2477

在进行实验的过程中，保存了每个epoch的模型参数文件，需要验证每个保存的模型的效果，想到直接简单粗暴的手法，就是一个循环里加载模型并进行验证，但是导致随着加载的模型越来越多，速度越来越慢。方法如下：在每次加载模型之前，清空模型占用的内存即可。 import tensorflow as tf from keras import backend as K K.clear_session() tf.reset_default_graph() ‘’‘加载模型位置’‘’ 更多内容信息，可以参见官...

tensorflow引起的内存泄露

Deep Learning and NLP Farm

07-22

1万+

计算机配置内存12G，显存4G，运行有10分钟左右就提醒说内存不够用然后退出运行，直觉是程序bug问题终于找到靠谱解决方案： http://cherishlc.iteye.com/blog/2324796 这个博客的第二个给了大致的讲解，在给出的附录中： https://stackoverflow.com/documentation/tensorflow/3883/how-to-debug

树莓派4B安装TensorFlow CPU依赖包解决方案

在树莓派4B上运行这样的框架，不仅需要足够的存储空间来存放模型和中间变量，还需要合理配置交换分区（swap）以防内存溢出。此外，这些whl包之间的依赖顺序也极为关键：必须先安装numpy → scipy → h5py → ...