PyTorch概述（三）---Datasets

最新推荐文章于 2025-09-11 00:36:01 发布

原创

最新推荐文章于 2025-09-11 00:36:01 发布 · 1.4k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能

本文介绍了PyTorch的torchvision.datasets模块，包括其提供的各种内置数据集如ImageNet、CIFAR10等，以及如何使用基础类创建自定义数据集。此外，还涵盖了图像分类、检测、光流、立体匹配、配对和视频数据的处理示例。

torchvision .datasets 模块中提供很多内置数据集;
以及很多工具类用于构建用户自己的数据集;

内置数据集

所有内置的数据集都是 torch.utils.data.Dataset的子类;
也就是他们都具有已经实现的__getitem__和__len__方法;
内置数据集都能够被送到torch.utils.data.DataLoader;
以并行的方式使用torch.multiprocessing加载多种样本;
代码实例:

import torch.utils.data
import torchvision.datasets
imagenet_data=torchvision.datasets.ImageNet('path/to/imagenet_root/')
data_loader=torch.utils.data.DataLoader(imagenet_data,
                                        batch_size=4,
                                        shuffle=True,
                                        num_workers=args.nThreads)

所有的数据集具有类似的 API;
所有的 API 都具有两个共同的参数:transform 和 target_transform,独立的转换输入和目标;
使用 pytorch 提供的基础类用户可以创建自己的数据集；

图像分类数据集

Caltech101(root[, target_type, transform, ...])	Caltech 101 Dataset.
Caltech256(root[, transform, ...])	Caltech 256 Dataset.
CelebA(root[, split, target_type, ...])	Large-scale CelebFaces Attributes (CelebA) Dataset Dataset.
CIFAR10(root[, train, transform, ...])	CIFAR10 Dataset.
CIFAR100(root[, train, transform, ...])	CIFAR100 Dataset.
Country211(root[, split, transform, ...])	The Country211 Data Set from OpenAI.
DTD(root[, split, partition, transform, ...])	Describable Textures Dataset (DTD).
EMNIST(root, split, **kwargs)	EMNIST Dataset.
EuroSAT(root[, transform, target_transform, ...])	RGB version of the EuroSAT Dataset.
FakeData([size, image_size, num_classes, ...])	A fake dataset that returns randomly generated images and returns them as PIL images
FashionMNIST(root[, train, transform, ...])	Fashion-MNIST Dataset.
FER2013(root[, split, transform, ...])	FER2013 Dataset.
FGVCAircraft(root[, split, ...])	FGVC Aircraft Dataset.