38、使用 TensorFlow 加载和预处理数据

使用 TensorFlow 加载和预处理数据

在深度学习中，我们常常会遇到需要处理大型数据集的情况，这些数据集往往无法全部加载到内存中。TensorFlow 的 Data API 为我们提供了一种高效的方式来处理这些问题，它可以帮助我们轻松地加载、预处理和操作大规模数据集。

1. TensorFlow Data API 简介

TensorFlow 的 Data API 围绕数据集（dataset）的概念展开，数据集代表了一系列的数据项。通常，我们会使用从磁盘逐步读取数据的数据集，但为了简单起见，我们可以使用 tf.data.Dataset.from_tensor_slices() 函数在内存中创建一个数据集：

import tensorflow as tf

X = tf.range(10)  # any data tensor
dataset = tf.data.Dataset.from_tensor_slices(X)
print(dataset)

输出结果为：

<TensorSliceDataset shapes: (), types: tf.int32>

from_tensor_slices() 函数会将一个张量分割成多个切片，每个切片作为数据集的一个元素。在这个例子中，数据集包含了 0 到 9 的整数。我们也可以使用 tf.data.Dataset.range(10) 得到相同的数据集。