记录一次失败的kera-tensorflow环境更新

最新推荐文章于 2023-04-18 23:18:37 发布

EarlyBird1235

最新推荐文章于 2023-04-18 23:18:37 发布

阅读量875

点赞数

文章标签： tensorflow

本文链接：https://blog.youkuaiyun.com/h1m2q3/article/details/124278383

版权

本文记录了一次由于TensorFlow-GPU与CUDA版本不一致，导致Keras运行缓慢，CPU内存满载而GPU未被充分利用的问题。作者通过升级TensorFlow和TensorFlow-GPU至2.5.0版本尝试解决，但因使用pip而非conda导致问题持续。最终解决方案是删除并重新创建环境。检查代码显示已使用GPU，但内存占用过高可能是数据处理问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

记录一次失败的kera-tensorflow环境更新

血泪教训：keras跑得特别慢，cpu内存拉满，gpu使用率为0，原因竟是服务器的cuda版本与tensorflow以及tensorflow-gpu不一致，但这里采用了pip更新，导致仍然出错，下面是过程记录

下面是错误示范的记录。
起因是keras跑得特别慢，cpu内存拉满，gpu使用率为0
发现：服务器的cuda版本与tensorflow以及tensorflow-gpu不一致
于是：用pip分别更新了tensorflow以及tensorflow-gpu
结果：因为i采用了pip更新，和之前conda好像不和，程序运行会出错ｉｍｐｏｒｔ　ｋｅｒａｓ出错

血泪教训：keras跑得特别慢，cpu内存拉满，gpu使用率为0，原因竟是服务器的cuda版本与tensorflow以及tensorflow-gpu不一致，但这里采用了pip更新，导致仍然出错，下面是过程记录

先看这张图，红圈是我在跑的程序，内存给你占满，gpu使用率却为0，在这个3080的卡上跑得还特别慢，哭死
在这里插入图片描述

发现原因：我的tensorflow-gpu版本与这个服务器的cuda版本不一致

这个官方说明的tensorflow与tensorflow-gpu和CUDA的对应版本https://www.tensorflow.org/install/source_windows
那么这张3090卡的cuda版本是11.2，我的keras环境是从另一个服务器上直接迁移过来的（见我另一个博客），以为拿过来直接用，没想到还有这个坑等着我。
那么接下来就是升级tensorflow和tensorflow-gpu的版本
在这里插入图片描述

解决方法：升级tensorflow和tensorflow-gpu的版本

先激活keras环境
建议先
升级tensorflow到对应的版本，我是2.5.0
再升级tensorflow-gpu到对应的版本，我是2.5.0
最后升级keras的版本

conda activate 环境名  # 激活keras环境
pip install --upgrade --ignore-installed tensorflow==2.5.0
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==2.5.0

在这里插入图片描述

用conda list查看是否升级成功

在这里插入图片描述
在pycharm中也可以看到

结果运行：但是运行代码仍然出错，用Pip安装，与之前的conda不合，叹气！！！

之前都时conda 安装，这里用Pip安装，导致仍然出错。
于是决定删除这个有漏洞的环境，重新安装
https://blog.youkuaiyun.com/uzwuzw/article/details/122962560
在这里插入图片描述

下面记录的是我尝试了以下几种方法，来找原因。

检查是keras是否用了GPU

import tensorflow as tf
    print(tf.__version__)
    if tf.test.gpu_device_name():
        print('Default GPU Device: {}'.format(tf.test.gpu_device_name()))
    else:
        print("Please install GPU version of TF")

可以看到我用了GPU，而且我在代码开头也添加了os.environ[“CUDA_VISIBLE_DEVICES”] = “0”
在这里插入图片描述
2. 安装的tensoflow版本不能超过对应tensorflow-gpu版本，实际上我的两个是一致的

4. 调试程序，看看是不是我的数据太大了
不知道为啥那个BN层，一下子内存占用就直逼爆满