图像识别技术与应用第八课

一、    Pytorch数据处理工具箱
Pytorch数据处理工具箱包括utils.data、torchvision、可视化工具。

二、数据处理工具箱概述
涵盖 utils.data 、 torchvision 等组件。 utils.data 中， Dataset 用于构建数据集， DataLoader 可批量处理数据； torchvision 的 transforms 对图像数据预处理， ImageFolder 读取不同目录图像数据。
 
三、utils.data

_getitem_一次只能获取一个样本。
1.utils.data.Dataset

2.DataLoader：可以批量处理。
Dataset：加载的数据集。
batch_size：批大小。
Shuffle：是否将数据打乱。
Sampler：样本抽样。
num_workers：使用多进程加载的进程数，0代表不使用多进程。
collate_fn：如何将多个样本数据拼接成一个batch，一般使用默认的拼接方式即可。
pin_memory：是否将数据保存在锁页内存（pin memory区），其中的数据转到GPU会快一些。
drop_last：dataset 中的数据个数可能不是 batch_size的整数倍，drop_last为True会将多出来不足一个batch的数据丢弃。

但是DataLoader并不是迭代器，可以通过“iter”命令转换成迭代器。
数据处在不同目录之下时会不方便！