深度学习之TensorFlow中tf.get_variable() vs tf.Variable()，tf.name_scope() vs tf.variable_scope()和调试

scope 命名方法

• 对于一个复杂的 tensorflow 模型会有很多个变量， 
  • tf.variable_scope() ：提供了简单的命名空间技术以避免冲突；
  • tf.get_variable()：从同一个变量范围内获取或者创建；
• 见名知意，tf.Variable() variable 且以大写字母开头，该函数在于定义一个变量；tf.get_variable()：可根据 name 值，返回该变量，如果该 name 不存在的话，则会进行创建；

1. name_scope()

先说结论：

• tf.get_variable() 以及 tf.Variable() 是 TensorFlow 中创建变量的两种主要方式；
• 如果在 tf.name_scope() 环境下分别使用 tf.get_variable() 和 tf.Variable()，两者的主要区别在于 
  • tf.get_variable() 创建的变量名不受 name_scope 的影响；
  • tf.get_variable() 创建的变量，name 属性值不可以相同；tf.Variable() 创建变量时，name 属性值允许重复（底层实现时，会自动引入别名机制）
• 此外 tf.get_variable() 与 tf.Variable() 相比，多了一个 initilizer （初始化子）可选参数； 
  • tf.Variable() 对应地多了一个 initial_value 关键字参数，也即对于 tf.Variable 创建变量的方式，必须显式初始化；

import tensorflow as tf

with tf.name_scope('a_name_scope'):
    initilizer = tf.constant_initilizer(value=1)
    var1 = tf.get_variable(name='var1', shape=[1], dtype=tf.float32, initilizer=initilizer)
    # var11 = tf.get_variable(name='var1', shape=[1], dtype=tf.float32, initilizer=initilizer)
    var2 = tf.Variable(name='var2', initial_value=[2], dtype=tf.float32)
    var21 = tf.Variable(name='var21', initial_value=[2.1], dtype=tf.float32)
    var22 = tf.Variable(name='var22', initiali_value=[2.2], dtype=tf.float32)

with tf.Session() as sess:
    print(var1.name, sess.run(var1))
    # print(var11.name, sess.run(var11))
    print(var2.name, sess.run(var2))
    print(var21.name, sess.run(var21))
    print(var22.name, sess.run(var22))

输出为：

var1:0 [ 1.]
a_name_scope/var2:0 [ 2.]
a_name_scope/var2_1:0 [ 2.0999999]
a_name_scope/var2_2:0 [ 2.20000005]

2. variable_scope()

一个双层嵌套名称空间：

with tf.variable_scope('foo'):
    with tf.variable_scope('bar'):
        v = tf.get_variable('v', [1])
assert v.name == 'foo/bar/v:0'

3. get_variable()

get_variable() 函数的行为依赖于 reuse 的状态：

case1：reuse 设置为 False，创建并返回新变量：

with tf.variable_scope('foo'):
    v = tf.get_variable('v', [1])
assert v.name == 'foo/v:0'

case2：reuse 设置为 True，将会按照给定的名字在以存的变量中搜寻：

with tf.variable_scope('foo'):
    v = tf.get_variable('v', [1])
with tf.variable_scope('foo', reuse=True):
    v1 = tf.get_variable('v')
assert v1 == v

with tf.variable_scope('a_variable_scope') as scope:
    initializer = tf.constant_initializer(value=3)
    var3 = tf.get_variable(name='var3', shape=[1], dtype=tf.float32, initializer=initializer)
    scope.reuse_variables()
            # 另一种写法，tf.get_variable_scope().resue_variables()
    var3_reuse = tf.get_variable(name='var3')
    var4 = tf.Variable(initial_value=[4.], name='var4', dtype=tf.float32)
    var4_reuse = tf.Variable(initial_value=[4.], name='var4', dtype=tf.float32)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(var3.name, sess.run(var3))
    print(var3_reuse.name, sess.run(var3_reuse))

a_variable_scope/var3:0 [ 3.]
a_variable_scope/var3:0 [ 3.]
a_variable_scope/var4:0 [ 4.]
a_variable_scope/var4_1:0 [ 4.]

调试

tenforflow调试几种常用方法:

1.通过Session.run()获取变量的值

2.利用Tensorboard查看一些可视化统计

3.使用tf.Print()和tf.Assert()打印变量

4.使用Python的debug工具: ipdb, pudb

5.利用tf.py_func()向图中插入自定义的打印代码, tdb

6.使用官方debug工具: tfdbg

一、遇到的问题

    1.coures包下载和安装 可解决报错ImportError: No module named '_curses'

        curses 库 ( ncurses )提供了控制字符屏幕的独立于终端的方法。curses 是大多数类似于 UNIX 的系统（包括Linux）的标准部分，而且它已经移植到 Windows 和其它系统。

        安装包   http://www.lfd.uci.edu/~gohlke/pythonlibs/#curses  （https://www.lfd.uci.edu/~gohlke/pythonlibs/#curses）

        安装   pip install whl文件名

        可以应对python程序的报错：

                from _curses import *
                ImportError: No module named '_curses'

2.调试方法

在使用TensorFlow过程中，希望能够了解运行中的相关内容，目前使用以下两种方法：

1 使用变量 = Sess.run（变量,.....， feed_dict={}）的方法，获得运行中变量的内容

2 使用tfdbg, 参考TensorFLow中的example

from tensorflow.python import debug as tf_debug

sess = tf_debug.LocalCLIDebugWrapperSession(sess)
sess.add_tensor_filter("has_inf_or_nan", tf_debug.has_inf_or_nan)

就可以通过CLI来在运行时，通过list_tensors、print_tensor等命令来观察相应的内容了。

以上，请参考

相关参考：

1.Tensorflow学习笔记：Debugging 调试Tensorflow 程序

http://blog.youkuaiyun.com/u010312436/article/details/78656723

2.Tensorflow之调试(Debug)及打印变量

http://blog.youkuaiyun.com/m0_37870649/article/details/79330975

3.TensorFlow调试功能初试

http://blog.youkuaiyun.com/liuchonge/article/details/69397860

https://www.cnblogs.com/huangshiyu13/p/6721805.html

https://wookayin.github.io/tensorflow-talk-debugging