dataloader = DataLoader(
ImageDataset("./data/%s" % opt.dataset_name, transforms_=transforms_),
batch_size=opt.batch_size,
shuffle=True,
num_workers=opt.n_cpu,
)
使用上诉数据设置出错。
原因:shuffle的参数设置错误导致。
解决方法:因为已经有batch_size了,就不需要shuffle来进行随机了,将shuffle设置为FALSE即可。
dataloader = DataLoader(
ImageDataset("./data/%s" % opt.dataset_name, transforms_=transforms_),
batch_size=opt.batch_size,
# shuffle=True,
shuffle=False,
num_workers=opt.n_cpu,
)
DataLoader的函数定义如下:
DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=default_collate, pin_memory=False, drop_last=False)
此函数的参数:
dataset:包含所有数据的数据集,加载的数据集(Dataset对象)
batch_size :每个batch包含的数据数量
Shuffle : 是否打乱数据位置。
sampler : 自定义从数据集中采样的策略,如果制定了采样策略,shuffle则必须为False.
Batch_sampler:和sampler一样,但是每次返回一组的索引,和batch_size, shuffle, sampler, drop_last 互斥。
num_workers : 使用线程的数量,当为0时数据直接加载到主程序,默认为0。
collate_fn:如何将多个样本数据拼接成一个batch,一般使用默认的拼接方式即可
pin_memory:s 是否将数据保存在pin memory区,pin memory中的数据转到GPU会快一些
drop_last: dataset中的数据个数可能不是batch_size的整数倍,drop_last为True会将多出来不足一个batch的数据丢弃