Pytorch从本地获取数据集

Pytorch从本地获取数据集

• 在学习pytorch的过程中需要从MNIST获取数据集，然而下载是让人头疼的事，从网上寻找数据资源比较便捷
• 获取到的数据如何在pytorch中加载呢

1 下载数据集

• MNIST:
  https://download.youkuaiyun.com/download/wangxiaobei2017/12238192
• FASHION_MNIST:
  https://download.youkuaiyun.com/download/wangxiaobei2017/12241183

2. 从本地进行数据加载

• 获取测试集与训练集

  直接运行后，发现依旧是下载数据，那我本地的数据集怎么才能被加载

    mnist_train = torchvision.datasets.FashionMNIST(root='./MNIST', train=True, download=True,transform=transforms.ToTensor())
    mnist_test = torchvision.datasets.FashionMNIST(root='./MNIST', train=False, download=True,transform=transforms.ToTensor())
  

• 查找数据源url

按下Ctrl，左键点击FashionMNIS,进入mnist.py，在resources下可以看到，这里是数据集的下载路径，需要将其修改为本地文件的路径

• 查找本地数据源
  

• 将本地数据源替换之前的路径

特别要注意后面的None，这个是md5校验码，如果不填会报错

• 运行程序，加载数据集

      mnist_train = torchvision.datasets.FashionMNIST(root='./MNIST', train=True, download=True,transform=transforms.ToTensor())
      mnist_test = torchvision.datasets.FashionMNIST(root='./MNIST', train=False, download=True,transform=transforms.ToTensor())
      print(type(mnist_train))
      print(len(mnist_train), len(mnist_test))
  

完成