tf.summary、tfrecord

最新推荐文章于 2022-07-13 12:07:33 发布

tdinzju

最新推荐文章于 2022-07-13 12:07:33 发布

阅读量978

点赞数 1

文章标签： tensorflow

本文介绍如何使用TensorFlow自定义Summary来记录和展示训练过程中的数据，如验证集上的损失等，提供了一种简便的方法及示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tf.summary

通常情况下，我们在训练网络时添加summary都是通过如下方式：

tf.scalar_summary(tags, values)
# ...
summary_op = tf.summary.merge_all()
summary_writer = tf.summary.FileWriter(logdir, graph=sess.graph)
summary_str = sess.run(summary_op)
summary_writer.add_summary(summary_str, global_step)
 1
2
3
4
5
6

当我们自己想添加其他数据到TensorBoard的时候（例如验证时的loss等），这种方式显得太过繁琐，其实我们可以通过如下方式添加自定义数据到TensorBoard内显示。

summary_writer = tf.summary.FileWriter(logdir)
summary = tf.Summary(value=[
    tf.Summary.Value(tag="summary_tag", simple_value=0), 
    tf.Summary.Value(tag="summary_tag2", simple_value=1),
])
# x代表横轴坐标
summary_writer.add_summary(summary, x)
 1
2
3
4
5
6
7

或者:

summary_writer = tf.summary.FileWriter(logdir)
summary = tf.Summary()
summary.value.add(tag="summary_tag", simple_value=0)
summary.value.add(tag="summary_tag2", simple_value=1)
# x代表横轴坐标
summary_writer.add_summary(summary, x)
 1
2
3
4
5
6

注意，这里的x只能是整数，如果是小数的话会自动转为整数类型。

下面给出一段完整的示例代码

import tensorflow as tf
summary_writer = tf.summary.FileWriter('/tmp/test')
summary = tf.Summary(value=[
    tf.Summary.Value(tag="summary_tag", simple_value=0), 
    tf.Summary.Value(tag="summary_tag2", simple_value=1),
])
summary_writer.add_summary(summary, 1)

summary = tf.Summary(value=[
    tf.Summary.Value(tag="summary_tag", simple_value=1), 
    tf.Summary.Value(tag="summary_tag2", simple_value=3),
])
summary_writer.add_summary(summary, 2)

summary_writer.close()
 1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

显示效果如下所示：
TensorBoard显示示例

参考资料:

How to manually create a tf.Summary

修改历史:
2017-2-19 适应1.0api

tensorboard 显示时样例：tensorboard - -logdir E:/programData#不加引号

tfrecord
写：
with tf.python_io.TFRecordWriter(tf_filename) as tfrecord_writer:
for i, image_example in enumerate(dataset):
sys.stdout.write(‘\r>> Converting image %d/%d’ % (i + 1, len(dataset)))
sys.stdout.flush()
example = tf.train.Example(features=tf.train.Features(feature={
‘image/encoded’: _bytes_feature(image_buffer),
‘image/label’: _int64_feature(class_label),
‘image/roi’: _float_feature(roi),
‘image/landmark’: _float_feature(landmark)#注意是冒号
}))
（注：def _bytes_feature(value):
if not isinstance(value, list):
value = [value]
return tf.train.Feature(bytes_list=tf.train.BytesList(value=value))图像一般tostring（）转字符串)
tfrecord_writer.write(example.SerializeToString())
读：
filename_queue = tf.train.string_input_producer([tfrecord_file],shuffle=True)
# read tfrecord
reader = tf.TFRecordReader()
_, serialized_example = reader.read(filename_queue)
image_features = tf.parse_single_example(
serialized_example,
features={
‘image/encoded’: tf.FixedLenFeature([], tf.string),#one image one record
‘image/label’: tf.FixedLenFeature([], tf.int64),
‘image/roi’: tf.FixedLenFeature([4], tf.float32),
‘image/landmark’: tf.FixedLenFeature([10],tf.float32)
}
)
image_features就是解析出来的字典。