【已补蓝奏云链接】PyTorch中MNIST数据集(附datasets.MNIST离线包)下载慢/安装慢的解决方案

本文提供了一种在无法直接访问网络的情况下,解决MNIST数据集加载问题的方法。通过下载离线安装包并手动替换torchvision中的数据下载链接,使PyTorch能够从本地读取数据,避免了网络限制带来的困扰。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、问题背景

在学习MNIST数据集手写数字识别demo的时候,笔者碰到了一些问题,现记录如下:

1、必须先确保torchvision已经正确安。如何安装torchvision?请参考PyTorch/torchvision.datasets自带常用数据集【归纳】

二、解决方案

如果有梯子,直接挂梯子,没有可以参考下面的方案。

1、下载离线安装包
【2020年4月18日更新】:点击蓝奏云下载链接 MNIST数据集(https://ww.lanzous.com/ibjwnoj)

【失效】链接: https://***/s/1pPowtYrT7ETcDQI4o7s9Kw 提取码: 5qfm

2、Linux使用unzip mnist-master.zip命令解压,win和Mac请自便。在这里,我把它解压到了file:///home/ftimes/Downloads/mnist.

3、替换原下载路径

  1. 到安装torchvison的目录,搜索minst.py
  2. 打开文件,找到如下的URL
    元路径
  3. 如上图注释掉,改为
    在这里插入图片描述
    也就是前面部分替换为你的本地路径。

4.重载后,成功运行。

5.如果提示EOFError: Compressed file ended before the end-of-stream marker was reached,
请参考处理PyTorch中EOFError: Compressed file ended before the end-of-stream marker was reached的解决方案

### 解决 PyTorch 下载 MNIST 数据集时出现的 `urllib.error.HTTPError` 403 Forbidden 错误 当尝试通过 PyTorch 加载 MNIST 数据集时,如果遇到 HTTP 403 错误,则表明服务器拒绝了客户端的请求。这通常是因为目标网站设置了反爬虫机制,阻止自动化工具频繁访问资源[^1]。 对于这个问题的一种解决方案是在本地手动获取所需的数据文件,并配置程序指向这些本地副本而不是远程位置。具体操作如下: #### 方法一:更改默认下载链接至可信源 部分开发者报告成功替换了官方 URL 至其他托管相同数据集的地方来规避此问题。例如 GitHub 或者 Google Drive 上由社区维护的镜像站点[^2]。 #### 方法二:直接利用已有的本地数据集 如果已经拥有了完整的 MNIST 数据集并且存储在一个特定目录下,那么可以通过设置参数告知 PyTorch 使用现有的数据而非重新下载。确保该路径下的结构与预期一致——即包含训练图像、测试图像及其对应的标签文件。 ```python from torchvision import datasets, transforms transform=transforms.Compose([transforms.ToTensor()]) train_dataset = datasets.MNIST(root='./data', train=True, transform=transform, download=False) # 不再自动下载 test_dataset = datasets.MNIST(root='./data', train=False, transform=transform, download=False) ``` #### 方法三:修改底层库以适应新的下载逻辑 更进一步的做法是对涉及网络请求的部分代码进行调整,比如编辑 `torchvision.datasets.mnist` 中的相关实现,使其能够处理不同的主机名或是采用更加复杂的认证方式绕过简单的 IP 黑名单限制[^4]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值