【Pytorch基础】torch.utils.data.DataLoader方法的使用

最新推荐文章于 2025-08-19 14:58:33 发布
原创 最新推荐文章于 2025-08-19 14:58:33 发布 · 4.8w 阅读 · 82 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #pytorch #人工智能

本文详细介绍了PyTorch的DataLoader如何对数据进行分批处理，强调了输入数据必须可迭代，并展示了如何创建自定义数据集。DataLoader的主要优点在于能够快速迭代数据并提供批量训练。通过实例展示了如何设置batch_size、shuffle和num_workers等参数，以及当数据不足一个batch时的处理方式。此外，还提供了多个参考资源帮助读者深入理解DataLoader的使用。

  torch.utils.data.DataLoader主要是对数据进行batch的划分，除此之外，特别要注意的是输入进函数的数据一定得是可迭代的。如果是自定的数据集的话可以在定义类中用def__len__、def__getitem__定义。
  使用DataLoader的好处是，可以快速的迭代数据。

import torch
import torch.utils.data as Data
torch.manual_seed(1)    # reproducible
 
BATCH_SIZE = 5      # 批训练的数据个数
 
x = torch.linspace(1,
最低0.47元/天 解锁文章
PyTorch源码解读之torch.utils.data.DataLoader
AI之路
01-14 22万+
PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口，该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor，后续只需要再包装成Variable即可作为模型的输入，因此该接口有点承上启下的
解决 batch_sampler option is mutually exclusive with batch_size, shuffle, sampler, and drop_last
qq_38343151的博客
06-22 9174
因为我再dataloader中传入了drop_last=True，就报错ValueError: batch_sampler option is mutually exclusive with batch_size, shuffle, sampler, and drop_last，看源码发现问题所在，因为参数设置的冲突导致，我设置batch_sampler这个参数，一旦指定了这个参数，那么batch_size,shuffle,sampler,drop_last就不能再制定了（互斥——Mutually exc.
深度学习——DatadLoader的使用
weixin_71774768的博客
07-15 2063
Copy由此可见，DataLoder必须需要输入的参数只有�������。dataset(Dataset): 数据集的储存的路径位置等信息batch_size(int): 每次取数据的数量，比如batchi_size=2，那么每次取2条数据shuffle(bool): True: 打乱数据(可以理解为打牌中洗牌的过程); False: 不打乱。默认为Falsenum_workers(int): 加载数据的进程，多进程会更快。默认为0，即用主进程进行加载。但在windows系统下，num_workers如果非
【pytorch】 torch.utils.data.DataLoader用法详解
sazass的博客
05-11 9902
参考： https://pytorch.org/docs/stable/data.html?highlight=torch%20utils%20data%20dataloader#torch.utils.data.DataLoader https://blog.csdn.net/u014380165/article/details/79058479 官方函数定义： class torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False,
torch.utils.data.DataLoader使用方法
yuekangwei的博客
12-02 1917
""" 批训练，把数据变成一小批一小批数据进行训练。 DataLoader就是用来包装所使用的数据，每次抛出一批数据 """ import torch import torch.utils.data as Data BATCH_SIZE = 5 x = torch.linspace(1, 10, 10) y = torch.linspace(10, 1, 10) # 把数据放在数据库中 torch_dataset = Data.TensorDataset(x, y) loader = D
python torch.utils.data.DataLoader使用方法
09-17
`torch.utils.data.DataLoader`是PyTorch框架中用于高效加载和处理数据的关键组件。它在机器学习模型的训练过程中起着至关重要的作用，因为它的功能包括数据分批、数据预处理、多线程加载以及可选的随机打乱顺序等。...
PyTorch中 torch.utils.data.DataLoader 的详细解析和读取点云数据示例
qq_36812406的博客
05-29 1634
变长数据（如文本、点云）或特殊处理需求# 假设每个样本是 list 或 tensor（变长）collate_fn。
Pytorch的torch.utils.data中Dataset以及DataLoader等详解
一名在读大学生，正在学习深度学习，会定期分享一些该领域内容。欢迎大家一起交流学习~
08-20 9940
是PyTorch提供的一个模块，用于处理和加载数据。该模块提供了一系列工具类和函数，用于创建、操作和批量加载数据集。下面是Dataset: 定义了抽象的数据集类，用户可以通过继承该类来构建自己的数据集。Dataset用于访问单个样本，__len__用于返回数据集的大小。: 继承自Dataset类，用于将张量数据打包成数据集。它接受多个张量作为输入，并按照第一个输入张量的大小来确定数据集的大小。DataLoader: 数据加载器类，用于批量加载数据集。
pytorch之torch.utils.data学习
qq_41627642的博客
12-14 1915
PyTorch 数据加载利用的核心是torch.utils.data.DataLoader类。它表示在数据集上 Python 可迭代，支持map-style and iterable-style datasets（地图样式和可迭代样式数据集），customizing data loading order（自定义数据加载顺序），automatic batching（自动批处理），single- and multi-process data loading（单进程和多进程数据加载），
PyTorch之torch.utils.data.DataLoader详解
热门推荐
qq_36044523的博客
07-19 3万+
DataLoader(object)类： DataLoader 下有__init__，__setattr__，__iter__，__len__等四个函数，详情如下。 __init__ 函数 1.dataset(Dataset)，数据读取接口（比如torchvision.datasets.ImageFolder）或者自定义的数据接口的输出，该输出是torch.utils.data.Dataset类的对象(或者继承自该类的自定义类的对象)。 2.batch_size (int, optional)，批训练数据
Pytorch torch.utils.data.DataLoader 用法详细介绍
日常学习与专研的记录
04-03 2519
本文详细介绍 Pytorch torch.utils.data.DataLoader 用法。
torch.utils.data.DataLoader()
weixin_36670529的博客
05-16 987
数据加载器，结合了数据集和取样器，并且可以提供多个线程处理数据集。在训练模型时使用到此函数，用来把训练数据分成多个小组，此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。 生成迭代数据非常方便，请看如下示例： """ 批训练，把数据变成一小批一小批数据进行训练。 DataLoader就是用来包装所使用的数据，每次抛出一批数据 """ import t...
代码分析| torch.utils.data.DataLoader(1)
2301_80212097的博客
08-19 573
本文分析了PyTorch中DataLoader类的实现原理。DataLoader继承自泛型类Generic，通过_T_co指定数据类型与输入Dataset保持一致。文章详细解读了DataLoader的初始化参数，包括batch_size、shuffle、sampler等关键参数的功能和相互关系。特别说明了可选参数的类型注解、多进程加载机制、内存优化选项等设计细节。作者指出理解这些参数类型和功能对编写高效数据加载代码至关重要，并预告后续将继续深入分析DataLoader的核心实现逻辑。
torch.utils.data.DataLoader函数用法及详解
记录学习的小白
04-15 4126
class DataLoader(object): r""" Data loader. Combines a dataset and a sampler, and provides single- or multi-process iterators over the dataset. Arguments: dataset (Dataset): dataset from which to load the data. batch_size (.
关于PyTorch中的 torch.utils.data.DataLoader
程序猿视角
05-22 1262
torch.utils.data.DataLoader是PyTorch中一个用于数据加载的工具类，主要用于将样本数据划分为多个小批次(batch)，以便进行训练、测试、验证等任务。该类支持多线程异步数据读取和数据预处理，使得模型训练更高效、更快速。使用DataLoader时需要传入一个Dataset对象，Dataset对象提供了访问样本数据的接口。例如，可以使用PyTorch提供的torchvision.datasets中的一些内置数据集（如MNIST、CIFAR-10等）来构建Dataset对象。
torch.utils.data.DataLoader学习
free_luojing的博客
10-26 771
官方文档 torch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None, multiprocessing_context=None, generator=None, *, pre
torch.utils.data.DataLoader
sky的博客
12-25 805
PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口，该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入 按照batch size封装成Tensor，后续只需要再包装成Variable即可作为模型的输入，因此该接口有点承上启下...
torch.utils.data.DataLoader使用
jjw_zyfx的博客
09-22 754
各参数详解如图
torch.utils.data.dataloader.DataLoader
最新发布
08-26
### 功能概述 `torch.utils.data.DataLoader` 是 PyTorch 中用于数据加载的重要工具类，它能够将数据集包装成一个可迭代的对象，方便地进行数据加载和批处理操作。该类支持多种功能，包括批量读取、数据打乱、多线程并行加载、自动将数据打包成 batch、数据预处理和增强等 [^3]。 ### 常见参数详解 - **dataset**：传入的 `Dataset` 对象（如自定义或 `torchvision.datasets`）。 - **batch_size**：每个 batch 的样本数量。 - **shuffle**：是否打乱数据（通常训练集为 `True`）。 - **num_workers**：并行加载数据的线程数（越大越快，但依机器决定）。 - **drop_last**：是否丢弃最后一个不足 `batch_size` 的 batch。 - **pin_memory**：若为 `True`，会将数据复制到 CUDA 的 page-locked 内存中（加速 GPU 训练）。 - **collate_fn**：自定义打包 batch 的函数（可用于变长序列、图神经网络等）。 - **sampler**：控制数据采样策略，不能与 `shuffle` 同时使用。 - **persistent_workers**：若为 `True`，worker 在 epoch 间保持运行状态（提高效率，PyTorch 1.7+）。 ### 基本使用示例 ```python from torch.utils.data import Dataset, DataLoader class MyDataset(Dataset): def __init__(self): self.data = [i for i in range(100)] def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx] dataset = MyDataset() loader = DataLoader(dataset, batch_size=8, shuffle=True, num_workers=2) for batch in loader: print(batch) ``` ### 自定义 `collate_fn` 示例 当需要处理变长序列或其他特殊情况时，可以通过自定义 `collate_fn` 来实现更灵活的数据打包方式。 ```python def collate_fn(batch): # 自定义打包逻辑 return [item * 2 for item in batch] loader = DataLoader(dataset, batch_size=8, shuffle=True, num_workers=2, collate_fn=collate_fn) for batch in loader: print(batch) ``` ### 相关问题 1. 如何在 PyTorch 中自定义 Dataset 并与 DataLoader 结合使用？ 2. 如何利用 num_workers 参数加速数据加载？ 3. 在什么情况下需要自定义 collate_fn 函数？ 4. 如何在使用 DataLoader 时进行数据增强？ 5. 如何理解 pin_memory 参数的作用及其对性能的影响？
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值