TensorBoard-高级

最新推荐文章于 2023-05-15 10:00:00 发布

小汣结

最新推荐文章于 2023-05-15 10:00:00 发布

阅读量305

点赞数

分类专栏： tensorflow 1.15

本文链接：https://blog.youkuaiyun.com/qwexdl/article/details/115201668

版权

tensorflow 1.15 专栏收录该内容

38 篇文章

订阅专栏

一、计算图结构

1.1 节点之间

节点之间有两种不同的边：

实线：
刻画了数据传输，边上箭头方向表达了数据传输的方向，边上标注了张量的维度信息：比如?x784表明batch大小不固定。效果图上边的粗细表示传输的标量维度总大小，而不是传输的标量个数，当维度无法确定，使用最细的边来表示。
虚线：
虚边表达了计算之间的依赖关系。

1.2 主图、辅图

TensorBoard 会智能调整可视效果图上节点，TensorFlow 部分计算节点会有比较多的依赖关系，如果全部画在一张图上会使可视化得到的效果图非常拥挤。于是TensorBoard将Tensorflow计算图分成了主图（ Main Graph）和辅助图（Auxiliary nodes）

二、节点信息

使用TensorBoard可以非常直观地展现所有Tensorflow计算节点在某一次运行时消耗的时间和内存。

三、监控指标可视化

监控指标见下图：
在这里插入图片描述

3.1 tf.summary.histogram

查看张量的分布情况。

3.1.1 示例代码

import tensorflow as tf
import numpy as np


class Model:
    def __init__(self):
        with tf.variable_scope("input"):
            self.input = tf.placeholder(shape=[None, 128], dtype=tf.float32)
            self.output = tf.placeholder(shape=[None], dtype=tf.int32)

        self.global_step = tf.train.get_or_create_global_step()  
        with tf.variable_scope("fc_layers"):
            mid_out = tf.layers.dense(inputs=self.input, units=64, activation=tf.nn.sigmoid)
            tf.summary.histogram("dense1_output", mid_out)

            final_out = tf.layers.dense(inputs=mid_out, units=10)
            tf.summary.histogram("dense2_output", final_out)

        with tf.variable_scope("train_op"):
            self.loss = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=self.output, logits=final_out)
            self.op = tf.train.AdamOptimizer().minimize(self.loss)

        with tf.variable_scope("summary_mertic"):
            self.merged = tf.summary.merge_all()


if __name__ == "__main__":
    X = np.random.normal(size=[32, 128])
    y = np.random.randint(low=0, high=10, size=[32])

    model = Model()

    summary_writer = tf.summary.FileWriter("./", tf.get_default_graph())

    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())

        for epoch in range(10000):
            _, loss, summary_node, global_step = sess.run([model.op, model.loss, model.merged, model.global_step],
                                                          feed_dict={model.input: X, model.output: y})

            summary_writer.add_summary(summary_node, global_step)