ValueError: num_samples should be a positive integer value, but got num_samp=0

博客指出使用数据设置出错,原因是shuffle参数设置错误。解决办法是已有batch_size时,将shuffle设为FALSE。还介绍了DataLoader函数定义及各参数,如dataset、batch_size、shuffle等的含义。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

    dataloader = DataLoader(
        ImageDataset("./data/%s" % opt.dataset_name, transforms_=transforms_),
        batch_size=opt.batch_size,
        shuffle=True, 
        num_workers=opt.n_cpu,
    )

使用上诉数据设置出错。

原因:shuffle的参数设置错误导致。

解决方法:因为已经有batch_size了,就不需要shuffle来进行随机了,将shuffle设置为FALSE即可

    dataloader = DataLoader(
        ImageDataset("./data/%s" % opt.dataset_name, transforms_=transforms_),
        batch_size=opt.batch_size,
        # shuffle=True,  
        shuffle=False,
        num_workers=opt.n_cpu,
    )

DataLoader的函数定义如下:

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=default_collate, pin_memory=False, drop_last=False)

此函数的参数:

dataset:包含所有数据的数据集,加载的数据集(Dataset对象) 

batch_size :每个batch包含的数据数量

Shuffle : 是否打乱数据位置。

sampler : 自定义从数据集中采样的策略,如果制定了采样策略,shuffle则必须为False.

Batch_sampler:和sampler一样,但是每次返回一组的索引,和batch_size, shuffle, sampler, drop_last 互斥。

num_workers : 使用线程的数量,当为0时数据直接加载到主程序,默认为0。

collate_fn:如何将多个样本数据拼接成一个batch,一般使用默认的拼接方式即可 

pin_memory:s 是否将数据保存在pin memory区,pin memory中的数据转到GPU会快一些 

drop_last: dataset中的数据个数可能不是batch_size的整数倍,drop_last为True会将多出来不足一个batch的数据丢弃


 

评论 13
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值