【TensorFlow】将数据集保存为TFRecords格式的文件

目录

tf.python_io介绍

tf.train.Example介绍

---

TFRecords是TensorFlow官方推荐的存储数据的格式，方便对数据存储转移以及操作。

一个TFRecords文件包含一个带有CRC散列的字符串序列，其存储格式有如下四种：

uint64 length
uint32 masked_crc32_of_length
byte   data[length]
uint32 masked_crc32_of_data

tf.python_io介绍

                with tf.python_io.TFRecordWriter(output_filename) as tf_writer:
                    start_ndx =shard_id * num_per_shard
                    end_ndx = min((shard_id+1) * num_per_shard, len(file_names))
                    for i in range(start_ndx, end_ndx):

首先是定义输入文件的位置以及名称 output_filename。

通过 tf.python_io，将数据写入文件，用with打开的话，在写入结束之后后自动关闭文件，不用再特意写一个关闭文件的语句了，这个操作与python打开文件的操作是一样的。

                        example = data_utils.image_to_tfexample(image,  b'jpg', he