PyTorch-DataLoader

本文介绍DataLoader的功能及其在PyTorch中的使用方法。通过实例演示了如何设置数据批次大小、多进程读取数据、数据乱序等参数,并利用tensorboard进行可视化。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

DataLoader

功能 : 创建可以迭代的数据装载器
参数:

dataset : Dataset类对象, 决定数据从哪读取以及如何读取
batchsize: 决定数据批次大小 
num_works: 多进程读取数据的线程数
shuffle: 每个 epoch 是否乱序
当样本数不能被batchsize整除时, 是否舍去最后一个batch的数据

示例:每四张图片打包一次

import torchvision.datasets
from torch.utils.data import DataLoader
from torchvision import transforms
from torch.utils.tensorboard import SummaryWriter
img_tensor=transforms.ToTensor()
test_set=torchvision.datasets.CIFAR10("dataset2",train=False,transform=img_tensor)
test_loader=DataLoader(dataset=test_set,batch_size=4,shuffle=True,num_workers=0,drop_last=False)

for data in test_loader:
    img,target=data
    print(img.shape)
    print(target)

在这里插入图片描述
从上面可以看到,在size里,显示4张图片,然后是通道数,长与宽
tensor指的是target中指向事物的下标,例如,规定飞机是1,然后如果这个图片是飞机,就会显示1
示例:每64张图片一打包,然后l利用tensorboard可视化

import torchvision
from torch.utils.data import DataLoader
from torchvision import transforms
from torch.utils.tensorboard import SummaryWriter
img_tensor=transforms.ToTensor()
test_data=torchvision.datasets.CIFAR10("dataset2",train=False,transform=img_tensor)
test_loader=DataLoader(dataset=test_data,batch_size=64,shuffle=True,num_workers=0,drop_last=True)
writer=SummaryWriter("logs")
step=0
for data in test_loader:
    imgs,targets=data
    writer.add_image("test",imgs,step,dataformats='NCHW')
    step+=1
writer.close()

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值