【Pytorch】18.创建自定义数据集并根据文件名或对应文件名的文本文件获取labels

最新推荐文章于 2024-07-27 18:52:58 发布
原创 最新推荐文章于 2024-07-27 18:52:58 发布 · 687 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

源码

MNIST_Training_By_FileName_Dataset
MNIST_Training_By_TXTLabel

简介

本文主要探讨两种不同的数据集获取labels的方法

  • 根据图片的文件名中获取文件标签
    在这里插入图片描述

  • 根据与图片名称相同的.txt文件获取文件名
    在这里插入图片描述

根据图片名称获取labels

主要的区别在__init__方法中

    def __init__(self, root_path, train, transform=None):
        self.root_path = root_path
        self.transform = transform
        if train:
            self.root_path = os.path.join
最低0.47元/天 解锁文章
【Pytorch】17.使用自定义类继承Dataset创建数据集并通过代码将完整的数据集分割为测试集与训练集
Elephant_King的博客
05-22 2094
本文主要探讨获取一个数据集的两种情况，以手写数据集为例以文件格式划分好了训练集与测试集文件没有划分测试集与训练集，需要通过代码进行划分__init__主要实现一件事将给出的数据集地址转化并保存为一个数据集列表我们的文件结构为，下面的代码在必要处都给出了注释，读者可以自行阅读# 判断变化规则# 判断是否是训练集if train:else:# 遍历每个子文件夹（标签）if os.path.isdir(label_path): # 只处理目录# 遍历子文件夹中的所有图像文件。
PyTorch 深度学习框架：自定义数据集与数据加载器
数字魔方操控师的博客
05-06 852
假设我们有一个图像数据集，图像存储在一个文件夹中，并且对应的标签存储在一个 CSV 文件中。我们可以按照以下步骤创建一个自定义的数据集类：import os"""初始化方法，设置数据集路径和可选的转换操作。参数:csv_file (str): 包含图像文件名和对应标签的CSV文件路径。root_dir (str): 图像数据集的根目录路径。transform (callable, 可选): 一个可选的函数，用于对数据进行转换。""""""返回数据集的大小。""""""
python 读取文件夹下文件，将文件名作为制作标签，训练样本
岁月如歌
01-25 7173
# -*- coding: utf-8 -*- import os import re path = "F:\\data\\test_Data" # 更改文件名 def Rename_file(path): for file in os.listdir(path): file_path = os.path.join(path, file) if os.pat
【PyTorch教程】制作数据集的标签（label）
热门推荐
weixin_42306148的博客
03-08 1万+
关于制作数据集的label： 在P7视频的最后，写了这段，用来重新命名文件的label的 img 和 label 的管理方法，有两种： 1、用img所在文件夹的名称，作为label； 2、img在一个文件夹，label在另一个文件夹，img文件夹中是图片，label文件夹中是txt文件，txt文件名跟对应img名称一致，而label，写在txt文件里面 可以运行的代码 # ！usr/bin/env python3 # -*- coding:utf-8 -*- """ author :24nemo da
【自学 PyTorch 】第三课 —— 【代码实战记录】提取文件夹名称作为 Label，存储在 txt 中
weixin_42306148的博客
08-10 1352
PyTorch 数据集提取文件夹名称作为 Label，并存储在 txt 中一、理解二、代码参考内容写给自己 这部分，应该是在 Dataset 和 Dataloader 这部分的一个插曲，是为了在 Dataset 中，使用 getitem 函数，所做的预处理，否则，不能一一提取每一张图片的 label。 一、理解 做图像分类的框架，需要把 label 和 img 分开存放； 对应的内容，img 的名称，对应的 label，一般存放在名为 img 同名的 txt文件中，内容为 label； 说的有点绕。 名称（
Pytorch数据集自定义读取
weixinhum
01-10 2745
以读取VOC2012语义分割数据集为例，具体见代码注释： from PIL import Image import torch import torch.utils.data as data import os import numpy as np import torchvision import torchvision.transforms as transforms import matp...
【Pytorch使用自制数据集,Dataloader】
星光不问赶路人的博客
12-05 876
【代码】【Pytorch使用自制数据集,Dataloader】
学习Pytorch+Python之自定义数据集(创建CSV文件)
weixin_42744921的博客
10-05 4446
1、CSV文件 逗号分隔值（Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。文件格式如下图，也可用Excel打开。 2、简单分类数据集 本文数据集是一个蚂蚁(ants)和蜜蜂(bees)的简单的二分类数据，分别存放于dataset文件夹下的ants_image和bees_image文件夹下，用文件夹名字作为标签。 3、创建CSV文件代码 # 导入相关库 import csv import random
pytorch-训练自定义数据集实战
wyw0000的博客
07-27 1197
pytorch训练自定义数据集
python实现将文件路径+文件名及lable写入txt文件
哈欠打飞天的博客
08-03 1617
图片文件路径如图。标签从0-6. 话不多说，上代码。 import os def generate(dir, label): files = os.listdir(dir) #os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表。 listText = open('E:\pycharmPro\\train_list.txt', 'a+') #创建并打开一个txt文件，a+表示打开一个文件并追加内容 for file in files:.
pytorch 自定义数据读取方式
jiayou2021的博客
09-09 320
pytorch 自定义数据读取方式2 一个文件夹下面各个类别的图像数据都有，同时用一个对应的标签文件，比如txt文件来维护图像和标签的对应关系 from __future__ import print_function, division import torch import torch.nn as nn import torch.optim as optim from torch.optim import lr_scheduler from torch.autograd import Variable
读取数据集以及生成label标签txt文件
qq_45014958的博客
11-24 1479
处理数据集、以及依据数据集所在路径对每个子类生成相应的label标签txt文件
图像分类 | 基于 Labelme 数据集和 VGG16 预训练模型实现迁移学习
ttrr27的博客
01-16 1340
Hi，大家好，我是半亩花海。本文主要使用数据标注工具 Labelme对自行车（bike）和摩托车（motorcycle）这两种训练样本进行标注，使用预训练模型VGG16作为卷积基，并在其之上添加了全连接层。基于标注样本的信息和预训练模型的特征提取能力，训练自己构建的图像分类器，从而实现迁移学习。
Pytorch学习笔记——Dataset
weixin_46930258的博客
07-04 179
提供一种方式，获取需要的数据和对应的标签。主要实现两个功能：获取每一个数据及其对应label、统计数据集中的数据数量。
深度学习，图片数据集生成标签文件列表，即.txt文件（lmdb文件格式）
qxqsunshine的博客
05-01 9138
在深度学习中的图片训练时，需要将图片生成标签文件列表，本次我是对于多分类问题，一共８个类别，python代码实现如下：#coding:utf-8 import os def IsSubString(SubStrList,Str):     flag=True     for substr in SubStrList:         if not(substr in Str):         ...
pytorch载入数据与对应的标签，使用torch.utils.data详解，DataLoader的使用
qq_51570094的博客
04-09 1万+
在进行深度学习处理的时候，我们需要将数据输入到神经网络中进行训练，训练网络的学习能力，其实是根据一定的规则更新网络节点中的参数，而这个规则的来源就是依赖于数据与标签。我们需要将数据与标签相匹配，才能让网络进行训练，比如说网络学习到了一定的特征，而查阅此时的标签信息，比如说是车，那么网络就可以记住这样的特征表示的是车。这就要求我们输入的数据与数据标签是要对应的，在pytorch中，我们使用torch.utils.data 类来实现。 函数的中文文档： torch.uutils.datahttps://py
pytorch中获得one-hot标签的方法
列蒙特的博客
03-01 2028
pytorch中获得one-hot标签的方法 label_onehot = torch.zeros(BATCH_SIZE, NUM_CLASSES).scatter_(1, label.reshape(-1,1), 1) 其中label是一个一维的tensor，数据类型为long
pytorch学习之旅（一）——自定义数据读取
bigheart的博客
02-28 1198
最近在研究显著性检测，学着使用pytorch框架，以下纯属个人见解，如有错误请指出 （一）自定义数据读取 首先官方案例： PyTorch读取图片，主要是通过Dataset类，所以先简单了解一下Dataset类。Dataset类作为所有的datasets的基类存在，所有的datasets都需要继承它，类似于C++中的虚基类。 class Dataset(object): def __g...
pytorch实现带标签格式数据的模型训练
yyqq7226741的博客
10-20 4913
使用带标签数据进行模型训练，训练架构是pytorch，包括数据读入，模型设计，训练过程，代码。
Pytorch自定义数据集加载类
最新发布
08-16
<think>首先，用户的问题是基于提供的引用内容："请问如何在PyTorch中实现自定义数据集加载类"。引用内容讨论了在PyTorch中创建自定义数据集和加载器，特别提到了继承`torch.utils.data.Dataset`类。 关键点从引用中： - 引用[1]：PyTorch 提供了`torch.utils.data.DataLoader`和`torch.utils.data.Dataset`来使用自定义数据。 - 引用[2]：自定义数据集通过继承`Dataset`类实现，需要定义三个魔法方法：`__init__`、`__len__`、`__getitem__`。 - 引用[3]：详细说明了如何实现子类，包括初始化、长度和获取项目。 - 引用[4]：提到了创建自定义数据集类并生成标签文件，提供了一个数据集下载链接。 系统级指令： - 所有行内数学表达式用`$...$`格式。 - 独立公式用`$$...$$`格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识，例如[^1]。 用户可见层： - 回答结构清晰，帮助用户逐步解决问题。 - 保证回答真实可靠。 用户的问题：如何在PyTorch中实现自定义数据集加载类？这应该包括创建自定义数据集类和使用数据加载器。 结构回答： 1. **介绍**：简要解释PyTorch中自定义数据集的重要性。 2. **步骤**：逐步说明如何实现自定义数据集类。 - 继承`Dataset`类。 - 实现`__init__`方法：初始化数据路径、标签等。 - 实现`__len__`方法：返回数据集大小。 - 实现`__getitem__`方法：加载和预处理单个样本。 3. **使用数据加载器**：展示如何将自定义数据集传递给`DataLoader`。 4. **示例代码**：提供一个简单的代码示例。 5. **引用**：在相关部分末尾添加引用标识。 6. **生成相关问题**：在回答末尾添加相关问题。 确保使用中文回答。 生成相关问题： - 基于主题，生成3-4个相关问题，如优化、性能分析等。 示例代码：基于引用，提供一个自定义数据集类的示例。例如，使用一个图像数据集，如蜜蜂蚂蚁数据集（从引用[4]）。 完整回答： - 开头：直接回答问题。 - 主体：逐步解释。 - 结尾：总结并添加相关问题。 引用标识：在回答中，当提到引用内容时，在段落末尾添加[^n]。例如，引用[2]讨论了三个魔法方法。 最终输出格式： - 回答部分。 - §§相关问题§§：列出相关问题。</think>### 在PyTorch中实现自定义数据集加载类 在PyTorch中，自定义数据集加载类允许用户处理非标准数据（如图像、文本或时间序列），通过继承`torch.utils.data.Dataset`类并实现关键方法来实现。这确保了数据能被高效加载和预处理，再通过`DataLoader`进行批处理和迭代。以下是基于PyTorch最佳实践的逐步实现指南，结合了引用内容的核心要点[^1][^2][^3]。 #### 步骤1: 理解自定义数据集类的结构 自定义数据集类必须继承`torch.utils.data.Dataset`，并覆盖三个核心方法： - `__init__(self, ...)`：初始化数据集参数（如数据路径、标签文件或预处理函数）。 - `__len__(self)`：返回数据集样本总数。 - `__getitem__(self, index)`：根据索引加载单个样本，并进行预处理（如归一化或数据增强）。 这些方法确保了数据集的兼容性，使其能被`DataLoader`无缝集成[^2][^3]。 #### 步骤2: 实现自定义数据集类 以下是一个完整示例，使用图像数据集（如蜜蜂蚂蚁数据集[^4]）作为场景。假设数据集包含图像文件和对应的标签CSV文件。 ```python import torch from torch.utils.data import Dataset from PIL import Image import pandas as pd import os class CustomImageDataset(Dataset): def __init__(self, img_dir, label_file, transform=None): """ 初始化数据集。 :param img_dir: 图像文件夹路径 :param label_file: 标签文件路径（CSV格式） :param transform: 数据预处理函数（如torchvision.transforms） """ super(CustomImageDataset, self).__init__() self.img_dir = img_dir self.labels = pd.read_csv(label_file) # 读取标签文件 self.transform = transform # 可选的数据增强 def __len__(self): """返回数据集大小。""" return len(self.labels) # 确保标签文件行数等于样本数[^3] def __getitem__(self, idx): """加载并预处理单个样本。""" img_path = os.path.join(self.img_dir, self.labels.iloc[idx, 0]) # 第一列为图像文件名 image = Image.open(img_path).convert('RGB') # 加载图像 label = self.labels.iloc[idx, 1] # 第二列为标签值 if self.transform: image = self.transform(image) # 应用预处理（如Resize, ToTensor） return image, label # 返回样本和标签 ``` **关键点说明**： - **初始化 (`__init__`)**：设置数据路径和预处理函数。标签文件通常为CSV，格式如`image_name, label`[^4]。 - **长度 (`__len__`)**：返回样本数，确保索引范围有效。 - **获取项目 (`__getitem__`)**：加载图像并应用预处理（如使用`torchvision.transforms`），输出张量格式的样本和标签[^2][^3]。 - **预处理函数**：可使用PyTorch的`transforms`模块，例如： ```python from torchvision import transforms transform = transforms.Compose([ transforms.Resize((128, 128)), transforms.ToTensor(), # 转换为张量并归一化到[0,1] transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) # 标准化 ]) ``` #### 步骤3: 使用DataLoader加载数据集 创建自定义数据集实例后，传递给`DataLoader`以实现批处理、洗牌和多线程加载。 ```python from torch.utils.data import DataLoader # 创建数据集实例 dataset = CustomImageDataset( img_dir='path/to/images', label_file='path/to/labels.csv', transform=transform ) # 创建DataLoader dataloader = DataLoader( dataset, batch_size=32, # 批大小 shuffle=True, # 训练时洗牌数据 num_workers=4 # 多线程加载，加速数据读取 ) # 示例：迭代数据集 for images, labels in dataloader: # 在此处进行模型训练 pass ``` **优点**： - **高效加载**：`DataLoader`支持并行数据加载，减少I/O瓶颈。 - **灵活性**：可处理各种数据类型，包括非图像数据（如修改`__getitem__`加载文本或音频）。 - **兼容性**：与PyTorch模型无缝集成[^1][^3]。 #### 常见问题与优化 - **标签文件生成**：如果无现成标签，可编写脚本生成CSV文件（如遍历文件夹并分配标签）[^4]。 - **性能优化**：使用`num_workers`加速加载，或使用内存映射技术处理大文件。 - **错误处理**：在`__getitem__`中添加异常捕获（如文件缺失时跳过样本）。 通过以上步骤，您可以在PyTorch中高效实现自定义数据集加载类，适用于各种机器学习任务。自定义数据集的核心是确保数据格式一致性和预处理标准化，这能提升模型训练效果[^1][^2]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值