pytorch学习笔记4-torchvision中数据集的使用

pytorch进阶学习(二):使用DataLoader读取自己的数据集 该方法为class loaddata的主方法,使用index下标获取到每一张图片的path和label后,用flag判断为训练集还是验证集,并且采用对应的图片处理措施(train_tf/val_tf)。课程准备:本节课需要用到3个Python文件和一个数据集文件,代码后面我都会给出,zip需要自己下载,,数据集zip文件和所需的三个代码文件可以在“leo在这”进行下载。'CreateDataset.py' 用于把数据集文件夹中的所有图片文件生成一个TXT文件,其中存放着所有图片的路径和图片对应的标签。 阅读详情

在pytorch官网的torchvision中可以看到提供的数据集以及详细的说明,现成的数据集使用起来也很方便。

以CIFAR10为例,点开可以看到CIFAR10的参数和返回值的相关介绍:

import torchvision

# 参数train为TRUE则返回训练集,为FALSE则返回测试集,download设置为TRUE则自动从网上下载
train_set = torchvision.datasets.CIFAR10(root="./P14_dataset", train=True, download=True)
test_set = torchvision.datasets.CIFAR10(root="./P14_dataset", train=False, download=True)
'''等待下载数据集'''

可以用debug查看数据集的组成:

可看出有classes的属性等等。

print(test_set[0])    # 测试集第一个由什么组成
print(test_set.classes)    # 查看属性

img, target = test_set[0]    # 测试集每一个由图片和索引组成,提取第一个
print(img, "\n", target)
print(test_set.classes[target])    # 查看第一个的属性,为cat
img.show()    # 用电脑自带的应用查看图片

注意img.show()查看的是PIL类的图片

与transform结合,把图片转换为tensor类型并用tensorboard查看:

import torchvision
from torch.utils.tensorboard import SummaryWriter

dataset_transform = torchvision.transforms.Compose([
    torchvision.transforms.ToTensor()
])
train_set = torchvision.datasets.CIFAR10(root="./P14_dataset", train=True, transform=dataset_transform, download=True)
test_set = torchvision.datasets.CIFAR10(root="./P14_dataset", train=False, transform=dataset_transform, download=True)

# print(test_set[0])
# print(test_set.classes)

# img, target = test_set[0]
# print(img, "\n", target)
# print(test_set.classes[target])
# img.show()

writer = SummaryWriter("P14")
for i in range(10):
    img, target = test_set[i]
    writer.add_image("test_set", img, i)

writer.close()

终端输入下面的命令打开tensorboard:

tensorboard --logdir=P14 --port=6008  

查看结果:

pytorch中torchvision数据集的使用——CIFAR-10dataset数据集 pytorch中torchvision数据集的使用 阅读详情

相关推荐

PyTorch源码解读(三)torchvision.datasets

PyTorch框架中有一个非常重要且好用的包:torchvision,该包主要由3个子包组成,分别是:torchvision.datasets、torchvision.models、torchvision.transforms。这3个子包的具体介绍可以参考官网:https://pytorch.org/docs/master/torchvision/datasets.html。 这篇博客介绍torc...

sinat_42239797的博客 1万+

torchvision中数据集的使用

在pytorch官网(torchvision — Torchvision 0.11.0 documentation (pytorch.org))中可以很清楚的看到提供的数据集以及详细的说明,现成的数据集使用起来也很方便。 以CIFAR为例 import torchvision train_set = torchvision.datasets.CIFAR10(root="./dataset",train=True,download=True) test_set = torchvision.datase

apple_53439775的博客 988

PyTorch中torchvision库的详细介绍

torchvision是 PyTorch 生态系统中的一个关键库,专门为计算机视觉任务设计和优化。它提供了以下几个核心功能:数据集、数据预处理工具、深度学习模型架构和实用工具。

xw555666的博客 5683

Pytorch学习笔记——Torchvision数据集使用

Torchvision是Pytorch中一个开源的机器学习框架,专门为计算机视觉任务设计和优化。它提供了多种功能来支持计算机视觉项目的开发和实验。matplotlib。

weixin_50765519的博客 2408

pytorch——torchvision预训练模型与数据集全览

torchvision预训练模型与数据集全览 pytorch5 torchvision预训练模型与数据集全览torchvision预训练模型与数据集全览torchvisiontorchvision.datssetstorchvision.models模型比较 torchvision 官网介绍: The torchvision package consists of popular datasets, model architectures, and common image transformations

weixin_45833008的博客 9475

PyTorch/torchvision.datasets自带常用数据集【总结】

一、PyTorch环境 @PyTorch 1.0 @下载命令1:pip3 install torchvision #可能会报错 @下载命令2:pip install --no-deps torchvision @Linux下,可能需要sudo 二、PyTorch自带常用数据集列表 MNIST #一个手写数字数据集集,提供了60000+训练用例和10000个测试用例 The MNIST d...

江南蜡笔小新 1万+

PyTorch的torchvision内置数据集使用,transform+pytorch联合使用

既然现在图像数据集已经成了tensor类型数据,那就可以用tensorboard打印一下图像了# torchvision.transforms.Compose是一个函数,它可以将多个图像转换操作组合在一起torchvision.transforms.ToTensor() # 将图像转换为【tensor(张量)】操作# 还可以添加一些裁剪、转灰度......等等图像操作])# 这里我们设置train_set是训练集数据、test_set是测试集数据。

m0_73991249的博客 1595

Torchvision中的数据集的下载和使用

Torchvision是PyTorch的一个库,用于计算机视觉任务。它提供了许多常用的数据集,可以用于训练和测试计算机视觉模型。

Joining667的博客 2518

【PyTorch学习笔记】自用 零基础详细标注-4.torchvision数据集

torchvision包含许多数据集,以及一些训练好的model可用。在官网可查看。

kanbarakun的博客 116

pytorch学习笔记七:torchvision.datasets.ImageFolder使用详解

一、数据集组织方式 ImageFolder是一个通用的数据加载器,它要求我们以下面这种格式来组织数据集的训练、验证或者测试图片。 root/dog/xxx.png root/dog/xxy.png root/dog/xxz.png root/cat/123.png root/cat/nsdf3.png root/cat/asd932_.png 对于上面的root,假设data文件夹在.py文件...

耐心的小黑的博客 4万+

NumPy包(下) python笔记扩展

nditer 是 NumPy 中的一个强大的迭代器对象,用于高效地遍历多维数组。nditer 提供了多种选项和控制参数,使得数组的迭代更加灵活和高效。nditer 提供了多种控制参数,用于控制迭代的行为。1.order 参数order 参数用于指定数组的遍历顺序。默认情况下,nditer 按照 C 风格(行优先)遍历数组。# 创建一个二维数组​# 使用 C 风格遍历数组print(x)# 输出:# 1# 2# 3# 4# 5# 6​# 使用 Fortran 风格遍历数组。

正在学习中ing...... 1353

pytorch torchvision.datasets

torchvision 库是服务于pytorch深度学习框架的,用来生成图片,视频数据集,和一些流行的模型类和预训练模型. torchvision.datasets 所有数据集都是 torch.utils.data.dataset 的子类,也就是说,它们都实现了 __getitem__ 和 __len__ 方法。因此,它们都可以传递给 torch.utils.data.dataloader,...

Threelights的博客 1万+

多周期路径及set_multicycle_path详解

默认情况下,每条路径都被定义为单周期,即源触发器在时钟的任一边沿启动(launch)的数据都应该由目的触发器在时钟的下一上升沿捕获(capture)。 有的设计需要在数据被捕获前提供一些额外的周期,这类路径被称为多周期路径。 一、set_multicycle_path命令 命令格式如下: set_multicycle_path .........

Jackiezhang1993的博客 4万+

PyTorch:Torchvision的简单介绍与使用

Torchvision库的介绍。Torchvision库下包括四个常用的包models、datasets、transforms和utils,这篇文章针对每个包进行简单介绍。

baidu_38797690的博客 1万+

ICG cell如何通过Latch结构消除与门clock gating中的glitch?

本文深入解析了ICG Cell如何利用Latch结构解决传统与门时钟门控中的毛刺问题。通过将电平敏感锁存器与门控与门结合,ICG Cell将使能信号的变化严格限制在时钟低电平的安全窗口内采样和锁存,从而在时钟有效沿期间提供稳定的控制信号,从根本上消除了因信号延迟不同步而产生的glitch,确保了门控时钟的纯净与电路功能的可靠性。

weixin_29234423的博客 468

论文阅读: SIGIR 2025 ID-Free Not Risk-Free: LLM-Powered Agents Unveil Risks in ID-Free Recommender Syste

咱们平时用的推荐系统(比如购物APP推商品、视频APP推剧),大多是“有ID”的——每个用户、每个商品都有个专属ID,系统靠这些ID记录你的浏览、购买历史,再给你推喜欢的东西。但这种方式有个大问题:新用户、新商品刚上线时没有ID历史数据,系统没法精准推荐,这就是“冷启动”难题。后来人们搞出了“无ID推荐系统”:不用ID了,改成直接分析商品的文字信息(比如商品标题、描述),靠大语言模型(LLM,类似ChatGPT的技术)把文字转成“语义代码”,再通过这些“代码”判断你可能喜欢什么。

CSPhD-winston的博客 977

Pytorch学习07_torchvision中数据集的使用

p14

weixin_53384447的博客 1926

【图像去噪】论文精读:AKDT: Adaptive Kernel Dilation Transformer for Effective Image Denoising

论文题目:AKDT: Adaptive Kernel Dilation Transformer for Effective Image Denoising —— AKDT:用于有效图像去噪的自适应核膨胀Transformer图像去噪是一项基本但具有挑战性的任务,特别是在处理高分辨率图像和复杂的噪声模式时。大多数现有方法依赖于标准的 Transformer 架构,该架构通常计算复杂度高,并且对不同噪声水平的适应性有限。在本文中,我们介绍了自适应核膨胀Transformer(AKDT)

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 1045

pytorch和torchvision安装

使用pip安装pytorch和torchvision,如未安装pip工具,则需先安装pip,安装命令: sudo apt install python-pip 国内由于网速的限制,使用命令安装时需在后面加上清华的镜像,这样下载速度会大大提升,安装更容易成功。 pip install torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple/ 此命令在安装torchvision的同时,会把torch一起安装。安装结束后重新开启一个终端并进入py

计算机视觉算法开发与落地 4万+

R数据分析:广义估计方程式GEE的做法和解释

好久没有更新文章了,因为同学们咨询的问题有点多,另一个原因就是自己实在太懒。。。。 今天继续给大家写广义估计方程式GEE。 In statistics, a generalized estimating equation (GEE) is used to estimate the parameters of a generalized linear model with a possible unknown correlation between outcomes. 上面的英文解释告诉我们,当我们

Codewar的博客 1万+

24、交通信号协调算法与模型解析

本文深入解析了交通信号协调中的关键算法与模型,包括多路径进展模型、MAXBAND网络系统模型和松弛启用带模型。这些模型通过合理安排相位序列、优化绿波带宽等方式,提高了交通运行的效率。文章还探讨了交通控制从单点控制向网络协调的发展趋势,分析了当前面临的挑战与机遇,并提出了未来研究方向,如借助信息技术和机器学习,深入研究交通网络的基本构成,以实现智能化和精准化的信号协调。

agile9scrum的博客 134

torchvision中的数据集使用

CIFAR10数据集加载与使用摘要:PyTorch通过torchvision.datasets.CIFAR10可便捷加载CIFAR10数据集,参数包括存储路径、训练/测试集选择、数据变换函数等。加载后可通过索引访问图片(PIL格式)和标签(0-9数字),test_set.classes提供类别名称映射。示例展示了如何查看图像数据、标签及对应类别名。结合transforms可对图像进行预处理(如转Tensor),并利用TensorBoard可视化数据。该数据集包含10类32x32 RGB图像,每类有明确编号和

2301_79735873的博客 1483

Euro-NCAP-HWA测试流程中文版V1.1(2023发布)

在本协议中,使用了以下术语:Vehicle undertest (VUT) – 指根据本规程测试的车辆,车上有碰撞前的碰撞缓解或避免系统Global VehicleTarget (GVT) – 指本协议中使用的车辆目标,其定义见TB025—Euro-NCAP全球车辆目标规范v1.0辅助其他车辆(SOV)--指最新的 AEB VRU 测试规程中定义的 "大型障碍车辆"(而非机器人控制的平台),用于本规程中的 "切出 "测试。Time To Collision (TTC) – 指在VUT碰撞GVT之前的剩余时间

小明师兄的博客 596

【学习笔记】【Pytorch】四、torchvision.datasets模块的使用

一、**torchvision**模块说明 **介绍**:主要处理图像数据,包含一些常用的数据集、模型、转换函数等。 二、**datasets**模块介绍 **介绍**:一些加载数据的函数及常用的数据集接口。 三、**datasets.CIFAR10**类的使用 **作用**:CIFAR-10数据集的加载和数据处理。

qq_45772756的博客 3987

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

小土堆学习笔记7:torchvision中的数据集使用

CIFAR-10 是一个经典的图像分类数据集,包含 10 个类别的 60,000 张彩色图像(每张图像 32x32 大小),其中有 50,000 张用于训练,10,000 张用于测试。这个数据集已经被很多计算机视觉的研究人员用于深度学习模型的训练和测试。是库中的一个内置数据集,用户可以很方便地通过它来加载 CIFAR-10 数据集(如代码所示)。

qq_40525602的博客 1412

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

上一篇: pytorch学习笔记3-transforms的使用
下一篇: pytorch学习笔记5-dataloader的使用
ThreeS_tones
博客等级 码龄5年 2050粉丝 131原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值