ValueError: num_samples should be a positive integer value, but got num_samp=0

最新推荐文章于 2024-10-12 14:56:49 发布

fightingxyz

最新推荐文章于 2024-10-12 14:56:49 发布

阅读量1.6w

点赞数 22

CC 4.0 BY-SA版权

分类专栏： python pytorch

本文链接：https://blog.youkuaiyun.com/fightingxyz/article/details/117472401

python 同时被 2 个专栏收录

16 篇文章

订阅专栏

pytorch

2 篇文章

订阅专栏

博客指出使用数据设置出错，原因是shuffle参数设置错误。解决办法是已有batch_size时，将shuffle设为FALSE。还介绍了DataLoader函数定义及各参数，如dataset、batch_size、shuffle等的含义。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

    dataloader = DataLoader(
        ImageDataset("./data/%s" % opt.dataset_name, transforms_=transforms_),
        batch_size=opt.batch_size,
        shuffle=True, 
        num_workers=opt.n_cpu,
    )

使用上诉数据设置出错。

原因：shuffle的参数设置错误导致。

解决方法：因为已经有batch_size了，就不需要shuffle来进行随机了，将shuffle设置为FALSE即可。

    dataloader = DataLoader(
        ImageDataset("./data/%s" % opt.dataset_name, transforms_=transforms_),
        batch_size=opt.batch_size,
        # shuffle=True,  
        shuffle=False,
        num_workers=opt.n_cpu,
    )

DataLoader的函数定义如下：

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=default_collate, pin_memory=False, drop_last=False)

此函数的参数：

dataset：包含所有数据的数据集，加载的数据集(Dataset对象)

batch_size :每个batch包含的数据数量

Shuffle : 是否打乱数据位置。

sampler : 自定义从数据集中采样的策略，如果制定了采样策略，shuffle则必须为False.

Batch_sampler:和sampler一样，但是每次返回一组的索引，和batch_size, shuffle, sampler, drop_last 互斥。

num_workers : 使用线程的数量，当为0时数据直接加载到主程序，默认为0。

collate_fn:如何将多个样本数据拼接成一个batch，一般使用默认的拼接方式即可

pin_memory:s 是否将数据保存在pin memory区，pin memory中的数据转到GPU会快一些

drop_last: dataset中的数据个数可能不是batch_size的整数倍，drop_last为True会将多出来不足一个batch的数据丢弃