【Pytorch】加载本地FashionMNIST数据文件

Snychng

已于 2022-02-12 18:36:31 修改

阅读量7.7k

点赞数 19

CC 4.0 BY-SA版权

文章标签： pytorch 深度学习机器学习 python 经验分享

于 2022-02-12 18:34:11 首次发布

本文链接：https://blog.youkuaiyun.com/Adonisyc/article/details/122899822

本文介绍了如何解决在使用沐神的深度学习教程时，Fashion-MNIST数据集下载速度慢的问题。通过修改d2l包中torch.py文件的相应代码，将数据集根目录改为本地路径并禁止下载，可以避免从AWS下载，提高数据加载速度。同时提供了FashionMNIST数据集的百度网盘链接供读者下载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MNIST解决网上下载FashionMNIST数据集较慢的问题

文末包含FashionMNIST数据集资源

最近在学习沐神的深度学习，在Softmax的实现中，需要导入Fashion-MNIST数据集，并设置数据迭代器的批量大小为256。

代码如下：

import torch
from IPython import display
from d2l import torch as d2l

batch_size = 256
train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)

其中d2l.load_data_fashion_mnist要求从d2l包中加载数据集，而这里的数据集默认是亚马逊AWS下载，所以下载速度较慢，如下图：

于是根据终止程序以后的提示找到d2l文件中torch.py文件位置

提示如下：

打开以后找到第234行(下方代码块第10、12行)。

def load_data_fashion_mnist(batch_size, resize=None):
    """Download the Fashion-MNIST dataset and then load it into memory.

    Defined in :numref:`sec_fashion_mnist`"""
    trans = [transforms.ToTensor()]
    if resize:
        trans.insert(0, transforms.Resize(resize))
    trans = transforms.Compose(trans)
    mnist_train = torchvision.datasets.FashionMNIST(
        root="../data", train=True, transform=trans, download=True)
    mnist_test = torchvision.datasets.FashionMNIST(
        root="../data", train=False, transform=trans, download=True)
    return (data.DataLoader(mnist_train, batch_size, shuffle=True,
                            num_workers=get_dataloader_workers()),
            data.DataLoader(mnist_test, batch_size, shuffle=False,
                            num_workers=get_dataloader_workers()))

将root="../data"改为root="./data" # 使用项目文件同级地址下的已有的数据集

将downloda=True改为download=False # 不下载

如下：

``` 
mnist_train = torchvision.datasets.FashionMNIST(
        root="./data", train=True, transform=trans, download=False)
mnist_test = torchvision.datasets.FashionMNIST(
        root="./data", train=False, transform=trans, download=False)
```

保存之后重启Jupyter内核再次运行代码之后，没有提示下载。