Pytorch数据处理

一 Pytorch数据处理工具箱

 

二 数据处理工具箱概述

 

三 utils.data

 ·_getitem_一次只能获取一个样本。

1.utils.data.Dataset

 2.DataLoader：可以批量处理。 语法结构如下所示。

data.DataLoader(

dataset,

batch_size=1,

shuffle=False,

sampler=None,

batch_sampler=None,

num_workers=0,

collate_fn=,

pin_memory=False,

drop_last=False,

timeout=0,

worker_init_fn=None,)

2.DataLoader：可以批量处理。相关参数介绍如下所示。

 DataLoader：可以批量处理。

DataLoader并不是迭代器，可以通过“iter”命令转换成迭代器。

 但是！数据处在不同目录之下时会不方便！

四 torchvision 

torchvision是一个开源Python库，是PyTorch生态系统的一部分，专门用于处理计算机视觉任务。

 

主要组件

• 数据集（torchvision.datasets）：提供了MNIST、CIFAR10、ImageNet等多个常用数据集，封装在torch.utils.data.Dataset的子类中，方便读取和迭代，还支持自定义数据集创建。
• 数据变换（torchvision.transforms）：提供图像裁剪、旋转、缩放、归一化等常用数据变换工具，可通过transforms模块将变换以链式方式组合，形成复杂的图像处理流程。
• 预训练模型（torchvision.models）：包含ResNet、AlexNet、VGG等一系列在大规模数据集上训练过的成熟预训练模型，可用于迁移学习，用户在其基础上微调，能更快解决特定图像识别、目标检测等任务。
• 可视化工具（torchvision.utils）：可将多个图像拼接成一个网格，以更好地观察生成的图像或模型预测的效果，还提供了一些函数，可以轻松绘制学习曲线和其他统计指标，帮助开发者分析模型训练过程中的表现。