pytorch-Dataset not found

最新推荐文章于 2025-05-17 16:48:30 发布
最新推荐文章于 2025-05-17 16:48:30 发布
阅读量7.3k 收藏
点赞数 5
CC 4.0 BY-SA版权
分类专栏： Pytorch学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/houhuipeng/article/details/95185344
博客主要围绕学习PyTorch的example时多次使用MNIST出现的问题展开。指出问题原因是路径表示错误，总结了相对路径表示要点，如“…”表示上一级文件，相对路径到含MNIST的文件夹即可，还提及后续补充绝对路径表示。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

学习pytorch的example，多次使用MNIST，经常出现：

Dataset not found. You can use download=True to download it

原因是路径表示错误。总结两点如下：

  • …表示当前文件的上一级文件，即向上一步，相对的位置有错误，以当前打开的文件夹中正在编辑的文件为基准。（如果有同时打开的其他文件，会报错找不到相对位置）

  • 相对路径表示到含有MNIST的文件夹为止，不需要增加MNIST。

绝对路径的表示后续补充。

pytorch加载本地的fashion mnist数据集 报错RuntimeError: Dataset not found
weixin_44628096的博客
08-14 1075
加载本地下载好的fashion_mnist数据集注意格式和root参数，否则会报错 RuntimeError: Dataset not found. You can use download=True to download it 表示无法识别出文件
PyTorch-Kaldi工具箱简介及核心代码注解
qq_26778411的博客
08-01 2844
pytoch-kaldi简介及核心代码详解。方便大家对该框架进行修改。
YOLOv7 训练报错 Exception: Dataset not found. yolov7与yolov5数据集
weixin_46135327的博客
05-25 4232
Exception：Dataset not found
【Pytorch学习笔记】数据模块01——Dataset和Dateloader
qq_50040241的博客
05-17 1815
将数据读取，并预处理好，再提供给dataloader必须实现的两个函数getitem。
Exception: Dataset not found.解决记录
热门推荐
qq_49641239的博客
06-24 2万+
1、报错：找不到数据集。如下： Traceback (most recent call last): File "train.py", line 674, in <module> train(hyp, opt, device, tb_writer) File "train.py", line 108, in train check_dataset(data_dict) # check File "/home/camila/BY/test/yxxxx/utils/ge
Exception: Dataset not found.解决办法
weixin_61623830的博客
10-18 3878
yolov5训练，数据集
huggingface/pytorch-image-models
liugan528的博客
02-16 744
pytorch-image-models
File "C:\Users\Administrator\Desktop\unet-pytorch-main\unet-pytorch-main\utils\dataloader.py", line 32, in __getitem__ jpg = Image.open(os.path.join(os.path.join(self.dataset_path, "VOC2007/JPEGImages"), name + ".jpg"))
最新发布
07-08
raise FileNotFoundError(f"Image file not found: {image_path}") try: image = Image.open(image_path).convert('RGB') except Exception as e: print(f"Failed to open image: {image_path}") raise # ...
yolov5-pytorch-Ultralytics教程，涵盖 训练+预测+报错处理
weixin_42179685的博客
05-03 2698
本篇使用的yolo5模型大小为yolov5l由于需要识别一图片些细小的物体，我在Ultralytics的yolov5添加了一些注意力机制，但本次不会展开说，因为添加注意力前后对我们训练和预测的操作流程都没有任何影响。训练+预测至此结束咯~~
YOLOv5训练遇到的问题：Exception: Dataset not found ❌
C17875478487的博客
03-19 6998
关于这个问题，给出了三种解决方案，大都是因为数据集的路径问题
torch加载数据集：Dataset not found or corrupted. You can use download=True to download it
cjhxydream的博客
09-20 2万+
因为cifar-10数据集在原地址下载速度很慢，所以在网上找百度网盘链接下载，后将压缩包放到指定目录，运行代码出错 报错详情： Traceback (most recent call last): File "C:\Users\Administrator\Documents\python\train.py", line 26, in <module> download=False,transform = transform) File "E:\Anaconda3\lib\s
AutoDL上运行yolov5报错：Exception: Dataset not found
weixin_45175069的博客
03-02 3417
AutoDL服务器上运行yolov5报错：Exception: Dataset not found
运行yolov5训练时遇到Exception: Dataset not found ❌
weixin_45004544的博客
11-29 1万+
所指代的path路径为E:\Projects\Projects_yolov5\yolov5\datasets\mydata。所指代的path路径为E:\Projects\Projects_yolov5\datasets\mydata。data.yaml的路径为E:\Projects\Projects_yolov5\yolov5\data。推荐修改yaml文件中数据集的引用路径（也可以修改数据集存放路径）。根据此提示，就可以定位到错误的地方。为当前文件路径的上一级根路径。为当前文件路径的根路径，
解决报错Dataset not found ⚠, missing path /root/YOLOv11/datasets/cls.yaml, attempting download...
qq_53101602的博客
01-10 1080
正确的：C:/Users/24237/PycharmProjects/ultralytics-8.3.2/datasets/images。错误的：C:/Users/24237/PycharmProjects/ultralytics-8.3.2/dataset/images。另外，加载权重文件yolov11n.pt不会出现错误 但yolov11n-cls.pt 会出现错误，具体原因和解决办法还不清楚。还有一种是用相对路径时发生的错误，最简单的就是找到对应文件删除就好了。2.train文件中的路径错误。
RuntimeError: Dataset not found. You can use download=True to download it
黎木的博客
05-11 5921
RuntimeError: Dataset not found. You can use download=True to download it 原因： 你在torch.datasets.***()的括号中加入download=Ture即可
RuntimeError: Dataset not found or corrupted. You can use download=True to download it
404 Not Found
04-29 4835
问题 官网的cifar-10数据集下载速度很慢，在网上找百度网盘链接下载后将压缩包放到指定目录，运行代码出错。 解决方案 要在代码的指定路径下，放入解压后的cifar-10-batches-py文件！，即指定训练集和测试集目录下要同时有cifar-10-batches-py、train_cifar10、test_cifar10???? ...
旧版本torchvision报错Dataset not found. You can use download=True to download it
happyLittleFish的博客
02-26 448
把本地数据集源文件挪动到对应位置，然后注释掉旧版download函数中访问网页相关的代码，直接跳过下载进入下载完成的环节，然后让函数继续执行生成.pt文件并储存在本地，就能解决问题了，后续可以解除注释的地方。如果download==True，那么下载了数据集以后，不仅会读取数据集，torchvision还会调用torch.save把数据集保存为.pt文件，这样以后加载数据时可直接用。可以看到，旧版本torchvision如果不下载，会读取本地的.pt文件，如果没有就报错，那么.pt文件怎么来的呢？
YOLOv5 Exception: Dataset not found.
joe8910的博客
05-23 510
在使用yolo v5训练时弹出了这个报错，就是没有找到数据集，dataset.yaml文件里面的train 和val 的路径配置不对，开始我是使用相对路径，后面修改成绝对路径就可以了。
D:\Anaconda3\envs\torch_gpu\python.exe D:\desktop\zhongcaoyao\PyTorch-Classification-Trainer\train.py A module that was compiled using NumPy 1.x cannot be run in NumPy 2.2.4 as it may crash. To support both 1.x and 2.x versions of NumPy, modules must be compiled with NumPy 2.0. Some module may need to rebuild instead e.g. with 'pybind11>=2.12'. If you are a user of the module, the easiest solution will be to downgrade to 'numpy<2' or try to upgrade the affected module. We expect that some modules will need time to support NumPy 2. Traceback (most recent call last): File "D:\desktop\zhongcaoyao\PyTorch-Classification-Trainer\train.py", line 13, in <module> from basetrainer.engine import trainer File "D:\Anaconda3\envs\torch_gpu\lib\site-packages\basetrainer\engine\trainer.py", line 7, in <module> import torch File "D:\Anaconda3\envs\torch_gpu\lib\site-packages\torch\__init__.py", line 870, in <module> from . import _masked File "D:\Anaconda3\envs\torch_gpu\lib\site-packages\torch\_masked\__init__.py", line 420, in <module> def sum(input: Tensor, File "D:\Anaconda3\envs\torch_gpu\lib\site-packages\torch\_masked\__init__.py", line 223, in _apply_docstring_templates example_input = torch.tensor([[-3, -2, -1], [0, 1, 2]]) D:\Anaconda3\envs\torch_gpu\lib\site-packages\torch\_masked\__init__.py:223: UserWarning: Failed to initialize NumPy: _ARRAY_API not found (Triggered internally at ..\torch\csrc\utils\tensor_numpy.cpp:68.) example_input = torch.tensor([[-3, -2, -1], [0, 1, 2]]) torch version:1.11.0+cpu 0.9.5 ============================================================ config_file: configs/config.yaml distributed: False train_data: ['D:/PycharmProjects/PyTorch-Classification-Trainer/data/dataset/train'] test_data: D:/PycharmProjects/PyTorch-Classification-Trainer/data/dataset/test class_name: D:/PycharmProjects/PyTorch-Classification-Trainer/data/dataset/class_name.txt train_transform: train test_transform: test work_dir: work_space/ n
04-02
<think>好的，我现在需要解决用户遇到的NumPy版本不兼容问题。用户提到在PyTorch环境中运行时出现了'_ARRAY_API not found'的警告和模块初始化失败的情况。根据引用[3]，这个问题可能是因为旧版本的PyTorch不支持较新的NumPy 2.x版本。我应该先考虑升级PyTorch，因为新版本可能已经适配了NumPy 2.x。 首先，用户可能需要使用conda或者pip来升级PyTorch。根据引用[3]中的建议，使用conda安装指定渠道的PyTorch可能会有更好的兼容性。需要确保安装命令正确，比如添加-c pytorch和-c nvidia的渠道。同时，用户可能需要升级torchaudio和torchvision，这些也是PyTorch生态的一部分，保持版本一致很重要。 如果升级PyTorch后问题依旧，可能需要降级NumPy。用户当前使用的是NumPy 2.2.4，但旧模块可能是在NumPy 1.x下编译的。根据引用[2]中的示例，用户的环境中有numpy==1.18.1，这可能是一个稳定的旧版本。降级到1.18.1或类似的1.x版本可能解决兼容性问题。使用conda install numpy=1.18.1或者pip install numpy==1.18.1应该可以做到。 另外，检查虚拟环境是否正确隔离了依赖项也很重要。用户可能在不同的项目中有不同的依赖，导致版本冲突。使用conda create -n myenv python=3.x创建一个新环境，然后安装所需的PyTorch和NumPy版本，可以避免全局环境的影响。 用户还需要验证安装后的版本是否正确。通过python -c "import numpy; print(numpy.__version__)"和python -c "import torch; print(torch.__version__)"来确认版本是否匹配。此外，重新编译自定义模块可能也是必要的，特别是如果用户有自己编写的C扩展或依赖NumPy的代码，需要确保在正确的NumPy版本下重新构建。 最后，如果问题依然存在，可能需要检查PyTorch的官方文档或社区支持，看看是否有已知的兼容性问题或解决方案。引用[3]提到PyTorch旧版本可能不支持NumPy 2.x，所以确保所有相关库都更新到最新支持版本是关键。同时，用户的环境管理也很重要，避免多个项目间的版本冲突。</think>### 分步解决方案 根据引用[3]的描述，模块编译时使用的NumPy 1.x与新安装的NumPy 2.2.4存在接口不兼容问题，具体表现为`_ARRAY_API`符号未找到和初始化失败。以下是系统化的解决步骤： --- #### **1. 升级PyTorch至兼容版本** PyTorch旧版本可能未适配NumPy 2.x的API变更，需更新PyTorch至最新支持版本： ```bash # 使用conda安装（推荐） conda install pytorch::pytorch torchaudio torchvision -c pytorch -c nvidia # 或使用pip安装 pip install --upgrade torch torchaudio torchvision ``` 此操作会同步升级PyTorch相关组件，确保其与NumPy 2.2.4兼容[^3]。 --- #### **2. 降级NumPy至1.x版本** 若升级PyTorch后问题仍未解决，需将NumPy降级至与编译模块匹配的1.x版本： ```bash # 通过conda降级 conda install numpy=1.18.1 # 或通过pip降级 pip install numpy==1.18.1 ``` 选择具体版本需参考模块编译时使用的NumPy版本（如引用[2]中使用的`numpy==1.18.1`）[^2]。 --- #### **3. 验证环境隔离性** 确保当前环境为独立虚拟环境，避免全局包污染： ```bash # 创建新conda环境 conda create -n numpy_fix python=3.8 conda activate numpy_fix # 安装指定版本PyTorch和NumPy conda install pytorch::pytorch numpy=1.18.1 -c pytorch ``` --- #### **4. 重新编译自定义模块** 若问题源于自定义C扩展模块，需在目标NumPy版本下重新编译： ```python # 示例：使用setuptools重新编译 from setuptools import setup, Extension module = Extension('mymodule', sources=['mymodule.c'], include_dirs=[numpy.get_include()]) setup(ext_modules=[module]) ``` 执行编译前需确保`numpy.get_include()`路径指向正确的NumPy版本。 --- #### **5. 检查运行时依赖关系** 通过`pip check`验证依赖冲突： ```bash pip check # 若存在冲突，按提示修复 ``` --- ### 关键验证步骤 - **版本检查**： ```bash python -c "import numpy; print(numpy.__version__)" python -c "import torch; print(torch.__version__)" ``` - **功能测试**： ```python import torch import numpy as np # 测试涉及两者交互的操作（如Tensor转Numpy数组） tensor = torch.tensor([1,2,3]) np_array = tensor.numpy() ``` --- ### 相关问题 1. **如何避免Python环境中不同项目的依赖冲突？** 答：使用`conda`或`venv`创建独立虚拟环境，并通过`requirements.txt`固化依赖版本。 2. **PyTorch安装时如何选择与CUDA版本匹配的构建？** 答：参考PyTorch官网的安装命令生成器，根据CUDA版本选择`-c pytorch`或`-c nvidia`的指定版本。 3. **NumPy 2.x有哪些重大变更需要特别注意？** 答：包括`np.int`等别名弃用、C API结构调整（如`_ARRAY_API`符号变更），需检查代码和第三方库的兼容性声明[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值