Torchvision中datasets.MNIST设计方法分析

原创

已于 2022-03-27 15:44:01 修改 · 4.2k 阅读

14 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #pytorch #python

于 2022-03-27 15:41:15 首次发布

本文深入剖析了Torchvision中的MNIST数据集实现细节，包括数据集的设计理念、关键要素及其实现方法，如数据加载、转换等。

文章目录

前言
逐行分析MNIST代码
设计要点小结

前言

Torchvision包括很多流行的数据集、模型架构和用于计算机视觉的常见图像转换模块，它是PyTorch项目的一部分。

Pytorch官方提供的例子展示了如何使用Torchvision的MNIST数据集。

//构造一个MNIST数据集
data = datasets.MNIST('data', train = True, download = True,
          transform = transforms.Compose([
              transforms.ToTensor(),
              transforms.Normalize((0.1037,), (0.3081,))
          ]))

本文的重点是分析datasets.MNIST的设计，包含哪些要素，以及实现自己的dataset时，都要注意什么。

逐行分析MNIST代码

首先，MNIST继承了VisionDataset类。

class MNIST(VisionDataset):

# VisionDataset并没有做什么，只是规定要重写两个特殊方法。
class VisionDataset(data.Dataset):
    """
    Base Class For making datasets which are compatible with torchvision.
    It is necessary to override the ``__getitem__`` and ``__len__`` method.

然后，定义了数据集的镜像地址，作用是提供在线下载地址和高可用，当第一个地址无法访问的时候，还可以访问第二个地址。

mirrors = [
        'http://yann.lecun.com/exdb/mnist/',
        'https://ossci-datasets.s3.amazonaws.com/mnist/',
    ]

然后是资源列表，包含了这个数据集包含的所有数据资源，这里面就包括了训练数据、训练标签，测试数据、测试标签。

MNIST官网解释：The MNIST database of handwritten digits, available from this page, has a training set of 60,000 examples, and a test set of 10,000 examples.
来自：http://yann.lecun.com/exdb/mnist/

MNIST的测试数据集包含10k个样本，所以文件名是t10k-开头。

resources = [
        ("train-images-idx3-ubyte.gz", "f68b3c2dcbeaaa9fbdd348bbdeb94873"),
        ("train-labels-idx1-ubyte.gz", "d53e105ee54ea40749a09fcbcd1e9432"),
        ("t10k-images-idx3-ubyte.gz", "9fb629c4189551a2d022fa330f9573f3"),
        ("t10k-labels-idx1-ubyte.gz", "ec29112dd5afa0611ce80d1b7f02629c")
    ]

然后定义了两个文件名，一个是训练数据文件名，另一个是测试数据文件名。

training_file = 'training.pt'
test_file = 'test.pt'

定义图像类别，从0到9。

classes = ['0 - zero', '1 - one', '2 - two', '3 - three', '4 - four',
               '5 - five', '6 - six', '7 - seven'

最低0.47元/天解锁文章