43、TensorFlow数据处理与Keras预处理层全解析

TensorFlow数据处理与Keras预处理层全解析

1. TFRecord文件的读取与压缩

1.1 读取TFRecord文件

可以使用 tf.data.TFRecordDataset 来读取一个或多个TFRecord文件，示例代码如下：

import tensorflow as tf

filepaths = ["my_data.tfrecord"]
dataset = tf.data.TFRecordDataset(filepaths)
for item in dataset:
    print(item)

运行上述代码会输出类似如下结果：

tf.Tensor(b'This is the first record', shape=(), dtype=string)
tf.Tensor(b'And this is the second record', shape=(), dtype=string)

默认情况下， TFRecordDataset 会逐个读取文件，但可以通过传递文件路径列表并将 num_parallel_reads 设置为大于1的数，使其并行读取多个文件并交错记录。也可以使用 list_files() 和 interleave() 来实现相同的效果。

1.2 压缩TFRecord文件

在某些情况下