PyTorch 1.0 中文文档：torchvision.datasets

PyTorch数据集与DataLoader详解

最新推荐文章于 2023-08-24 22:03:43 发布

转载最新推荐文章于 2023-08-24 22:03:43 发布 · 314 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/wizardforcel/p/10492666.html

文章标签：

#人工智能

本文详细介绍了PyTorch中数据集的使用，包括如何通过继承torch.utils.data.Dataset来创建自己的数据集，以及如何利用DataLoader进行数据的批处理和并行加载。涵盖了MNIST、CIFAR等常见数据集的接口使用，以及transform和target_transform参数的说明。

译者：BXuan694

所有的数据集都是torch.utils.data.Dataset的子类，即：它们实现了__getitem__和__len__方法。因此，它们都可以传递给torch.utils.data.DataLoader，进而通过torch.multiprocessing实现批数据的并行化加载。例如：

imagenet_data = torchvision.datasets.ImageFolder('path/to/imagenet_root/')
data_loader = torch.utils.data.DataLoader(imagenet_data,
                                          batch_size=4,
                                          shuffle=True,
                                          num_workers=args.nThreads)

目前为止，收录的数据集包括：

数据集