【学习笔记】【Pytorch】五、DataLoader的使用

学习地址

PyTorch深度学习快速入门教程【小土堆】.

主要内容

一、DataLoader模块介绍
介绍：分配数据集。
二、DataLoader类的使用
作用：数据加载器。组合数据集和采样器，在给定数据集上时可迭代的。

一、DataLoader模块介绍

from torch.utils.data import DataLoader

介绍：通常在使用pytorch训练神经网络时，DataLoader模块是整个网络训练过程中的基础前提且尤为重要，其主要作用是根据传入接口的参数将训练集分为若干个大小为batch size的batch以及其他一些细节上的操作。
DataLoader.py文件结构：

二、DataLoader类的使用

作用：数据加载器。组合数据集和采样器，在给定数据集上时可迭代的。

1.使用说明

【实例化】DataLoader(dataset: Dataset[T_co],
batch_size: Optional[int] = 1,
shuffle: Optional[bool] = None,
sampler: Union[Sampler, Iterable, None] = None,
batch_sampler: Union[Sampler[Sequence],
Iterable[Sequence], None] = None,
num_workers: int = 0,
collate_fn: Optional[_collate_fn_t] = None,
pin_memory: bool = False, drop_last: bool = False,
timeout: float = 0,
worker_init_fn: Optional[_worker_init_fn_t] = None,
multiprocessing_context=None, generator=None,
*, prefetch_factor: int = 2,
persistent_workers: bool = False,
pin_memory_device: str = “”)

• 作用：创建一个数据集的实例。

• 参数说明：
  batch_size（int，可选）：每个batch（批次）要加载多少个样本（默认值：1）。
  

• 例子：

# 创建 CIFAR10 实例,测试集(注:初始为PIL图片)
test_set = datasets.CIFAR10(root="./dataset", train=</