39、高效数据处理与特征预处理：从TFRecord到神经网络输入准备

高效数据处理与特征预处理：从TFRecord到神经网络输入准备

在数据处理和机器学习领域，高效地存储、加载和预处理数据是构建强大模型的关键。本文将介绍如何使用TFRecord格式存储数据，以及如何对输入特征进行预处理，以便将其输入到神经网络中。

1. 从CSV到TFRecord

在之前的实践中，我们经常使用CSV文件来存储和处理数据。CSV文件虽然常见、简单且方便，但在处理大量数据或复杂数据结构（如图像或音频）时效率较低。TFRecord格式则是TensorFlow首选的用于高效存储和读取大量数据的格式。

1.1 TFRecord格式简介

TFRecord是一种简单的二进制格式，由一系列不同大小的二进制记录组成。每个记录包含长度、用于检查长度是否损坏的CRC校验和、实际数据以及数据的CRC校验和。

1.2 创建TFRecord文件

可以使用 tf.io.TFRecordWriter 类轻松创建TFRecord文件，示例代码如下：

import tensorflow as tf

with tf.io.TFRecordWriter("my_data.tfrecord") as f:
    f.write(b"This is the first record")
    f.write(b"And this is the second record")

1.3 读取TFRecord文件

使用 tf.data.TFRecordDat