[深度学习]④Torchvision中数据集Datasets、DataLoader的使用

首先确保你已经安装了 torch 和 torchvision。如果还未安装，可以使用以下命令进行安装：

pip install torch torchvision

---

 Datasets

torchvision.datasets 模块提供了许多常用的数据集，如 MNIST、CIFAR-10、ImageNet 等，三者都是做好的数据集，种类数量难度依次递增

import torch
from torchvision import datasets, transforms

# 定义数据预处理的转换
transform = transforms.Compose([
    transforms.ToTensor(),  # 将img图像转换为 Tensor形式
    transforms.Normalize((0.1307,), (0.3081,))  # 归一化处理，传入必须是tensor形式
])

# 加载训练集
train_dataset = datasets.MNIST(root='./data', train=True,
                               download=True, transform=transform)

# 加载测试集
test_dataset = datasets.MNIST(root='./data', train=False,
                              download=True, transform=transform)

 Transforms的使用与常用工具ToTensor、Normalize、Resize、Compose、RandomCrop及注意事项

参数意义：datasets.MNIST 用于加载 MNIST 数据集；root 是数据集的存储路径；train 表示是否加载训练集；download 表示是否需要下载数据集；transform 表示对数据进行的预处理 不加出来的是img文件，加了出来的是tensor文件。

 

下载完出现MNIST文件 

---

展示图片

import torchvision
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms

# 把图片变成tensor形式
transform = transform = transforms.ToTensor()# 将图像转换为Tensor
train_set = torchvision.datasets.MNIST(root="./dataset", train=True, download=True, transform=transform)
test_set = torchvision.datasets.MNIST(root="./dataset", train=True, download=True, transform=transform)
image, label = train_set[0]   #获取图片


# 把该img传入tensorboard
writer = SummaryWriter("logs")
writer.add_image("train", image,1)
writer.close()

注意获取图片格式 image, label = train_set[0]，label表示索引为0，也称target

必须要加否则报错Got <class 'tuple'>, but numpy array or torch tensor are expected.

 

数据集的分类      用 .classes[ label]展示

---

 DataLoader

使用 DataLoader 对数据集进行批量加载，设置大小，是否打乱数据等参数，相对于抽取扑克牌

# 创建训练集的 DataLoader
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)

# 创建测试集的 DataLoader
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)

 batch_size：指定每个批次加载的数据样本数量。
 shuffle：如果设置为 True， 开始时打乱数据集的顺序，有助于模型的泛化。 

 drop_last ：对于每次取固定数字的，最后剩下的几张，True或False决定是否舍弃

（ 所有的细节解释在代码中已写出）

import torchvision
from torchvision import transforms,datasets
from torch.utils.data import DataLoader
#加载数据集转换成tensor
transform=transforms.ToTensor()
test_dataset = torchvision.datasets.MNIST(root="./dataset", train=True, download=True, transform=transform)
#设置dataloder
test_loader=DataLoader(dataset=test_dataset,batch_size=3,shuffle=True,drop_last=False)
#batch_size=3即从test_dataset中取三个数据
img,label=test_dataset[0]    #返回test_dataset的第一张图片
print(img.shape)

writer=SummaryWriter("logs")
#返回test_loader中打包好的数据，用for循环
i=0
for data in test_loader:
    imgs ,labels=data     #所有的img在imgs中，所有的label在labels中
    print(imgs.shape)
    print(labels)
    writer.add_images("dataloader",imgs,i)
    i=i+1
writer.close()

 上图的意思为 torch.size([图片数，通道数，尺寸，尺寸])       

                       tensor（[三个图的target数]）  随机取的