【PyTorch入门】2.数据集和数据加载器

数据集和数据加载器 — PyTorch 教程 2.2.0+cu121 文档
数据集和数据加载器 — PyTorch 教程 2.2.0+cu121 文档

数据集和数据加载器

用于处理数据样本的代码可能会变得混乱且难以维护；理想情况下，我们希望数据集代码与模型训练代码分离，以获得更好的可读性和模块化性。PyTorch 提供了两个数据原语：torch.utils.data.DataLoader和torch.utils.data.Dataset ，允许您使用预加载的数据集以及您自己的数据。 Dataset存储样本及其相应的标签，并DataLoader围绕 Dataset进行迭代，以方便访问样本。

PyTorch 域库提供了许多预加载的数据集（例如 FashionMNIST）。这些数据集是torch.utils.data.Dataset的子类。并且，对于特定数据，实现特定的函数。它们可用于对您的模型进行原型设计和基准测试。您可以在这里找到它们：图像数据集、 文本数据集和 音频数据集

加载数据集

以下是如何从 TorchVision 加载Fashion-MNIST数据集的示例。Fashion-MNIST 是 Zalando 文章的图像数据集。这个数据集由 60,000 个训练样本和 10,000 个测试样本组成。每个样本包含一个 28×28 灰度图像和来自 10 个类别之一的关联标签。

我们使用以下参数，来加载FashionMNIST 数据集：

• root 是存储训练/测试数据的路径，

• train 指定训练或测试数据集，

• download=True 如果root 上没有数据，则从 Internet 下载数据。

• transform并target_transform指定特征和标签转换。

迭代和可视化数据集

我们可以像列表一样手动索引Datasets：training_data[index]。我们用matplotlib来可视化训练数据中的一些样本。

labels_map = {
   
    0: "T-Shirt",
    1: "Trouser",
    2: "Pullover",
    3: "Dress",
    4: "Coat",
    5: "Sandal",
    6: "Shirt",
    7: "Sneaker",
    8: "Bag",
    9: "Ankle Boot",
}
figure = plt.figure(figsize=(8, 8))
cols, rows = 3, 3
for i in