tf.ConfigProto和tf.GPUOptions用法总结

最新推荐文章于 2023-03-19 15:38:51 发布

C_chuxin

最新推荐文章于 2023-03-19 15:38:51 发布

阅读量1.5w

点赞数 15

CC 4.0 BY-SA版权

分类专栏： TensorFlow 文章标签： tf.ConfigProt tf.GPUOptions CPU参数设置 per_process_gpu_memory_fractio allow_growt

本文链接：https://blog.youkuaiyun.com/C_chuxin/article/details/84990176

1 篇文章

订阅专栏

本文详细介绍了如何使用tf.ConfigProto和tf.GPUOptions来配置TensorFlow的Session，包括设备分配日志、自动设备分配、动态显存申请及GPU使用率限制，以优化GPU资源管理和提升运行效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

【时间】2018.12.13

【题目】tf.ConfigProto和tf.GPUOptions用法总结

tf.ConfigProto一般用在创建session的时候，用来对session进行参数配置，而tf.GPUOptions可以作为设置tf.ConfigProto时的一个参数选项，一般用于限制GPU资源的使用。

tf.ConfigProto一般用在创建session的时候，用来对session进行参数配置。

log_device_placement=True : 是否打印设备分配日志

allow_soft_placement=True ： 如果你指定的设备不存在，允许TF自动分配设备

（1）第一种实在构造config对象时直接赋值，如下：

tf.ConfigProto(log_device_placement=True,allow_soft_placement=True)

（2）第二种是先构造config对象，再对构造的config对象进行赋值，如下：

config = tf.ConfigProto()

config.log_device_placement= True

config.allow_soft_placement=True

PS：tf.ConfigProto()含有的部分参数（属性与方法，可使用dir（tf.ConfigProto（））进行查看）如下：

session = tf.Session(config=config)

PS：在Keras中使用：

from keras.backend.tensorflow_backend import set_session

set_session(tf.Session(config=config))

tf.GPUOptions可以作为设置tf.ConfigProto时的一个参数选项，一般用于限制GPU资源的使用。同样有两种方法实现。

为了加快运行效率，TensorFlow在初始化时会尝试分配所有可用的GPU显存资源给自己，这在多人使用的服务器上工作就会导致GPU占用，别人无法使用GPU工作的情况。

tf提供了两种控制GPU资源使用的方法，一是让TensorFlow在运行过程中动态申请显存，需要多少就申请多少;第二种方式就是限制GPU的使用率。

方法一：

config = tf.ConfigProto()

config.gpu_options.allow_growth = True

session = tf.Session(config=config)

方法二：

gpu_options=tf.GPUOptions(allow_growth = True)

config=tf.ConfigProto(gpu_options=gpu_options)

session = tf.Session(config=config)

方法一：

config = tf.ConfigProto()

config.gpu_options.per_process_gpu_memory_fraction = 0.85  #占用85%显存

session = tf.Session(config=config)

方法二：

gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.85)

config=tf.ConfigProto(gpu_options=gpu_options)

session = tf.Session(config=config)

【注意】当限制GPU使用率时，GPU所占的显存是一直占着的，哪怕你Ctrl+Z 终止了程序，这时你需要手动kill进程。（参考链接：https://blog.youkuaiyun.com/c20081052/article/details/82345454）具体如下：

如果你在linux终端运行深度学习python脚本文件，运行中发现占用多个GPU和内存资源，可用下面的方法解决：

（1）请先查看占用资源的进程归属方是谁，以及使用的是什么指令：

ps -f PID号

（2）然后确认该进程可以kill掉情况下直接杀掉：

kill -9 PID号 #注意必须加-9，否则可能杀不掉进程