bug：ValueError: num_samples should be a positive integer value, but got num_samples=0

未读取到样本报错及解决方案
原创 于 2024-10-12 14:56:49 发布 · 720 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#bug

部署运行你感兴趣的模型镜像

#未读取到样本

完整报错
Traceback (most recent call last):
File “D:/LanduseDataset/pytorch_segmentation/segmentation_models/train_upernet.py”, line 292, in
main()
File “D:/LanduseDataset/pytorch_segmentation/segmentation_models/train_upernet.py”, line 73, in main
train_loader = DataLoader(train_dataset, batch_size=8, shuffle=True, num_workers=8,pin_memory=True)
File “C:\Users\laoji.conda\envs\pytorch\lib\site-packages\torch\utils\data\dataloader.py”, line 277, in init
sampler = RandomSampler(dataset, generator=generator) # type: ignore[arg-type]
File “C:\Users\laoji.conda\envs\pytorch\lib\site-packages\torch\utils\data\sampler.py”, line 97, in init
raise ValueError("num_samples should be a positive integer "
ValueError: num_samples should be a positive integer value, but got num_samples=0
Process finished with exit code 1

解决方案

检查数据集路径

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

ValueError: num_samples should be a positiveinteger value, but got num_samples=0
TracyGC的博客
02-26 978
在跑pytorch-GAN中的代码，出现了“ValueError: num_samples should be a positiveinteger value, but got num_samples=0：问题，shuffle的参数设置错误导致，因为已经有batch_sample了，就不需要shuffle来进行随机的sample了，所以在这里的shuffle应该设置为FALSE才对。查阅资料，出现的问题的地方：调用DataLoder时注意参数。
报num_samples should be a positive integer value, but got num_samples=0错误
weixin_52646021的博客
10-09 2586
train=DataLoader(mydata_train,batch_size=64,shuffle=True) 上面是对数据进行打包的一个片段，但是在对数据进行批量打包时出现以下的错误 Traceback (most recent call last): File "D:/project/learn/aa.py", line 81, in <module> main() File "D:/project/learn/aa.py", line 76, in main t
ValueError: num_samples should be a positive integer value, but got num_samples=0
weixin_36670529的博客
04-23 2万+
可能的原因：传入的Dataset中的len(self.data_info)==0，即传入该dataloader的dataset里没有数据 解决方法： 1. 检查dataset中的路径，路径不对，读取不到数据。 2. 检查Dataset的__len__()函数为何输出为零
论文代码复现问题：ValueError: num_samples should be a positive integer value, but got num_samples=0
ace2333的博客
09-24 901
'datasets/DF2K'修改为'./datasets/DF2K'后，报错得到解决。在复现论文SeD时遇到上述问题1，找到以下两个解决方法。将上述代码中的shuffle=True改为False。检查了代码里的路径问题，发现训练集的路径有问题，将。
pytorch报错：ValueError: num_samples should be a positive integer value, but got num_samples=0
Lily's Blog
11-29 3万+
最近在训练网络的时候，报错ValueError: num_samples should be a positive integer value, but got num_samples=0。 经过调试发现，这是在dataloader环节出现了问题。在数据读取时一个判断写的越界了，如下所示 def make_dataset(dir, opt): images = [] asse...
ValueError: num_samples should be a positive integer value, but got num_samples=0是什么错
01-05
根据引用内容，"ValueError: num_samples should be a positive integer value, but got num_samples=0"是一个错误提示，意味着在代码中使用了一个不合法的参数值。具体来说，这个错误是由于num_samples参数的值为0...
first day!
xchl321的博客
11-19 295
first day! 自定义目录标题) 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： ...
【已解决】ValueError: num_samples should be a positive integer value, but got num_samples=0
热门推荐
dont worry about it的博客
04-10 6万+
我这里的问题是linux和windows的路径不一致导致的 看了很多博客，99%的朋友应该是路径问题，就是没有读到数据集，回去检查下路径再来感谢我
进行文本分类时报错ValueError: num_samples should be a positive integer value, but got num_samples=0
2301_79094200的博客
12-27 1099
ValueError: num_samples should be a positive integer value, but got num_samples=0
pytorch创建数据集后运行报错ValueError: num_samples should be a positive integer value, but got num_samples=0
Marmaladei的博客
08-08 2948
意思就是数据集是空的，创建失败了。要么是代码逻辑有问题，要么是数据集路径设置错了。可以print各种中间变量来debug。
pytorch报错：ValueError: num_samples should be a positive integer value, but got num_samp=0
LLL_mg的博客
03-10 4617
问题在于：调用DataLoder时注意参数 self.train_dataloader = DataLoader(train_dataset, batch_size=TrainOption.train_batch_size, shuffle=TRUE, 原因：shuffle的参数设置错误导致，因为已经有batch_sample了，就不需要shuffle来进行随机的sample了，所以在这里的shuffle应该设置为FALSE才对。 另外，如果指定了batch_sampler，那么就不要再额外指定 batc
ValueError: num_samples should be a positive integer value, but got num_samples=0 代码从linux迁移到windows
Tony_0210的博客
07-17 701
如果检查了代码发现虽然shuffle时True，但是只设置了batch_size并没有设置batch_sample，那么就应该不是这个问题。一般代码从linux迁移到windows时读取路径和读取方式需要修改，修改下路径就可以了。或者像本项目一样需要做数据预处理，没处理的数据也无法读到。最后加bug检查发现是因为读取到的dataset为0，pytorch跑代码时遇到报错。
ValueError: num_samples should be a positive integer value, but got num_samp=0
fightingxyz的博客
06-02 1万+
dataloader = DataLoader( ImageDataset("./data/%s" % opt.dataset_name, transforms_=transforms_), batch_size=opt.batch_size, shuffle=True, num_workers=opt.n_cpu, ) 使用上诉数据设置出错。 原因：shuffle的参数设置错误导致。 解决方法：因为已经有batch_...
PyTorch报错：ValueError: num_samples should be a positive integer value, but got num_samples=0
baidu_39056574的博客
05-23 1908
在跑pytorch代码时候根据github提供的源码克隆到自己电脑上跑，出现各种bug，经过替换几个python版本之后还是发现错误，依然报错： ValueError: num_samples should be a positive integer value, but got num_samples=0 网上搜索发现有小伙伴出现类似情况(参考以下博客解决)： https://blog.youkuaiyun.com/qq_38247544/article/details/106651404 将 train_loade
发生异常: ValueError num_samples should be a positive integer value, but got num_samples=0
最新发布
07-14
### 问题分析 在运行 `train_stereo.py` 脚本时，出现如下异常： ``` ValueError: num_samples should be a positive integer value, but got num_samples=0 ``` 该错误通常出现在数据加载阶段，表示训练过程中用于采样的样本数量为 0，导致无法正常进行训练。可能的原因包括数据路径配置错误、数据集未正确构建或批量大小设置不当。 --- ### 常见原因及解决方案 1. **数据路径配置错误** 确保 `--train_dataset_dir` 参数指向的目录包含有效的训练数据，并且数据格式与模型要求一致。例如，如果使用的是自定义数据集 `my_stereo`，应检查其是否包含正确的图像对和标注文件。 ```bash python train_stereo.py --name my_selfsupervised --train_datasets my_stereo --train_dataset_dir F:/dataset/CP2W45F0001Z/my_stereo ... ``` 若目录中没有满足条件的数据文件，将导致采样器无法获取有效样本，从而触发 `num_samples=0` 的异常[^1]。 2. **数据集构建逻辑问题** 检查训练脚本中涉及数据集构建的部分，确认数据集类（如 `MyStereoDataset`）是否正确实现。若数据集长度返回为 0，可能是由于数据过滤逻辑过于严格，或者读取方式不兼容当前数据格式。 3. **批量大小参数误用** 根据相关经验，某些项目中的批量大小参数并非直接命名为 `batch_size`，而是采用类似 `samples_per_gpu` 的命名方式，默认值为 6。如果实际可用样本数小于该值，也可能导致采样失败。 ```python # 示例：修改 samples_per_gpu 参数 parser.add_argument('--samples_per_gpu', type=int, default=2, help='Number of samples per GPU') ``` 在遇到数据不足的情况时，适当减小该值可避免采样器因无可用样本而报错[^1]。 4. **数据增强或预处理逻辑异常** 如果训练脚本中包含图像增强、尺寸裁剪等预处理步骤，需确保这些操作不会意外过滤掉所有样本。例如，若设置了过大的 `--image_size` 参数，可能导致部分图像无法满足裁剪条件，进而被排除出训练流程。 ```bash --image_size 256 320 ``` 可尝试降低分辨率或移除不必要的裁剪逻辑以验证是否由该环节引发错误。 5. **禁用随机性影响采样** 如果启用了 `--noyjitter` 或 `--do_flip` 等去随机化选项，可能导致原本依赖于数据增强生成样本的训练流程失效。建议在调试阶段暂时关闭这些选项，确保数据多样性。 --- ### 示例：修改 `samples_per_gpu` 避免采样失败 ```python # 修改训练脚本中的默认批量大小 parser.add_argument('--samples_per_gpu', type=int, default=2, help='Number of samples per GPU') ``` --- ### 示例：检查数据集长度 ```python from torch.utils.data import DataLoader class MyStereoDataset: def __len__(self): return len(self.image_list) def __getitem__(self, idx): # 数据读取逻辑 ... dataset = MyStereoDataset(...) print(len(dataset)) # 应大于0 dataloader = DataLoader(dataset, batch_size=2) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云朵不吃雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值