pytorch dataloader踩坑

最新推荐文章于 2024-03-18 10:36:24 发布

原创最新推荐文章于 2024-03-18 10:36:24 发布 · 1.7k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

pytorch 专栏收录该内容

1 篇文章

订阅专栏

本文探讨了PyTorch中DataLoader组件在处理自定义数据集时的常见问题，特别是当label数据类型不一致时如何避免default_collate函数抛出的错误。文章提供了两种解决方案：一是将label转换为numpy数组，二是统一label中各元素的数据类型。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

pytorch在加载数据集的时候需要用户自定义数据集代码返回data和label。

torch.utils.data.DataLoader中有一个参数collate_fn，它需要传入一个函数，该函数的功能将list转换为Tensor。torch.utils.data.DataLoader内部实现了一个默认的collate_fn函数：default_collate。

问题来了，当你的label是一个list时，如果用户自定义的数据集_getitem__方法在返回data和label时，label中各元素的数据类型不一致时，torch.utils.data.DataLoader内部的default_collate函数会抛出类似下面的错误：

RuntimeError: tried to construct a tensor from a int sequence, but found an item of type float at index (76)

原因是函数default_collate在将list转为Tensor时，只根据list的第一个元素判断要转成的Tensor类型。

解决方法：

__getitem__返回label时，将list形式的label先转换为numpy数组；或者手动将label的list中个元素类型统一。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

xskxushaokai

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

PyTorch踩坑记录：解决常见问题和技巧

AvGroovy的博客

09-18

204

通过仔细检查张量形状、减少内存占用、处理梯度问题、正确保存和加载模型以及解决GPU内存问题，您可以更好地应对这些挑战，并更有效地使用PyTorch进行深度学习任务。首先，可以使用合适的权重初始化方法，如Xavier或He初始化，以确保梯度在前向和反向传播中保持稳定。其次，可以将模型的部分层移动到CPU上，以释放GPU内存。然而，在使用PyTorch的过程中，我们可能会遇到一些常见的问题和挑战。确保在保存模型时，将模型的状态字典（state_dict）保存下来，而不是整个模型。函数重塑张量的形状，或者使用。

为什么pycharm在debug时dataloader每次加载的数据不一样

anxiulan的博客

12-28

622

使用pycharm运行深度学习网络，数据加载部分。

参与评论您还未登录，请先登录后发表或查看评论

python检查data图片集和label标签集是否相同

fffupeng的博客

12-27

1779

#encoding:utf-8 #检查label和data数据集是否相同，若不相同输出不同的部分 def cheak_data_label: import os py_path=os.getcwd() print "now , python file is located in " + py_path label_path = py_path+"/label" #获取label文件夹位置

pytorch数据加载之torch.utils.data

潜心

03-18

241

pytorch数据加载能力的核心是torch.utils.data.DataLoader类，它表示数据集上的Python iterable，支持如下特性： map-style和iterable-style的数据集 customizing data loading order automatic batching single- and multi-process data loading automatic memory pining Data Loading Order 和 Sampler.

PyCharm深度学习遇到的报错汇总

qq_51505389的博客

03-18

561

*匹配并收集在字典中所有包含位置的参数，但传递进去的却是个元祖。

[Pytorch] pytorch踩坑日志

qq_42263831的博客

10-11

1370

最近开始学习Pytorch，记录一下自己踩过的坑。系统环境 OS: Windows 10 python: 3.7.6 pytorch: 1.6.0 cuda: 10.2 1.多线程数据加载 trainloader = torch.utils.data.DataLoader(trainset, batch_size=4, shuffle=True, num_workers=2) 如果在使用上述这类代码时发生如下错误，那

Pytorch踩坑——图像的读取方式对预测结果的影响

qq_41100991的博客

03-01

1883

1、检测结果差异巨大通过Pytorch自带的ImagerFolder读取训练集，读取图片的方式是通过PIL库，而当我们进行一些图像操作通过Opencv读取时，会出现检测结果与预期差异巨大的情况。这是因为PIL与Opencv读取图像的算法不同，同一张图片通过PIL读取预测与通过Opencv读取预测结果是明显不一样的。如下是通过ImagerFolder读取训练集，训练的模型。 import torc...

Pytorch踩坑之路（随时补充）

2401_82949788的博客

02-16

1217

pytorch踩坑之路

LSTM多GPU训练、pytorch 多GPU 数据并行模式

10-25

for inputs, targets in dataloader: inputs, targets = inputs.to(device), targets.to(device) optimizer.zero_grad() output, _ = model(inputs, hidden) loss = criterion(output, targets) loss.backward...

DataLoader加载数据batch_size导致batch数据量不均等报错

进击的扛把子

01-21

2788

DataLoader函数定义如下： DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0, collate_fn=default_collate, pin_memory=False, drop_last=False) 可以将drop_last改为True，drop_last为True会将多出来不足一个batch的数据丢弃。所以就在代码里加上了这个参数为True，继续训练就不再报错了。 ...

【Pytorch更改Loader中的label】

qq_43717863的博客

11-23

851

有的时候我们在后门攻击时需要对一个数据集的标签进行修改，但是pytorch的data.Dataset只支持按照文件夹中每个子文件夹（包含一个子类的所有数据）中图片的存放位置自动生成label。我们希望图片能够按照原来顺序读取，但是label换成了我们想要的（或者说，做了想要的替换）。data_walk.py内容如下，该python文件自动按照系统的文件排列方式将数据名挨个读到text文件中保存。注意，应将该文件放到train与test文件相同目录下运行，运行结束会在该目录生成装有所有数据名的text文件。

数据预处理——dataloader返回值

weixin_45957127的博客

11-08

1565

使用CIFAR10数据集，dataloader的batchsize为4DataLoader 中，每次调用（例如 for data in dataloader）将（这里一个批次包含四个数据）。根据定义的数据集的样式，这些元组可能包含一个或多个数据集的输入和目标（这里是四个)，返回时是将imgs一起打包返回，不是一个img一个target打包返回。dataloder的数据排列结构如下（按顺序取数据）

pytorch加载数据

qq_35027690的博客

12-25

410

参考：PyTorch深度学习快速入门教程（绝对通俗易懂！）【小土堆】本文是上面视频的笔记，up主讲的特别详细，推荐观看。在pytorch中加载数据主要涉及到两个类：Dataset 和 Dataloader Dataset :提供一种方式去提取数据并得到label Dataset：对数据进行打包送到网络中去，为后面的网络提供不同的数据形式。下面是代码及说明： from torch.utils....

【PyTorch教程】制作数据集的标签（label）

weixin_42306148的博客

03-08

1万+

关于制作数据集的label：在P7视频的最后，写了这段，用来重新命名文件的label的 img 和 label 的管理方法，有两种： 1、用img所在文件夹的名称，作为label； 2、img在一个文件夹，label在另一个文件夹，img文件夹中是图片，label文件夹中是txt文件，txt文件名跟对应img名称一致，而label，写在txt文件里面可以运行的代码 # ！usr/bin/env python3 # -*- coding:utf-8 -*- """ author :24nemo da

dataloader的学习

weixin_55529678的博客

12-18

873

神经网络中十分重要的一步就是数据的处理，将需要的数据打包，是十分重要的一步，下面我们就将使用步骤进行梳理。

【机器学习】pytorch中Dataloader的坑

weixin_39982211的博客

01-05

5119

基于pytorch训练一个模型，数据集size大概七十万训练起来很慢疯狂找原因，后来经过一行行调试，发现是遍历Dataloader时太慢了正在寻找解决办法。。(待更新2020.1.5) ...

pytorch dataloader_pytorch常见的坑汇总

weixin_39882948的博客

11-20

2201

随手写了备忘录居然还被cver转载了--------------------------------------------------最近刚开始用pytorch不久，陆陆续续踩了不少坑，记录一下，个人感觉应该都是一些很容易遇到的一些坑，也在此比较感谢帮我排坑的小伙伴，持续更新，也祝愿自己遇到的坑越来越少。首先作为tensorflow的骨灰级玩家+轻微强迫症患者，一路打怪升级，从0.6版本用到1....

pytorch - 数据读取机制中的Dataloader与Dataset

最新发布

03-18

### 使用 PyTorch DataLoader 处理验证集在 PyTorch 中，`DataLoader` 是用于加载数据的一个重要工具。它可以通过批处理的方式高效地提供训练集和验证集的数据。以下是关于如何使用 `DataLoader` 来处理验证集的具体方法。 #### 创建验证集的 DataLoader 为了创建一个专门用于验证集的 `DataLoader`，通常需要先将整个数据集划分为训练集和验证集。可以借助 `torch.utils.data.random_split` 函数完成这一操作[^3]： ```python from torch.utils.data import random_split, DataLoader from torchvision.datasets import CIFAR10 from torchvision.transforms import ToTensor # 加载完整的数据集 dataset = CIFAR10(root='./data', train=True, download=True, transform=ToTensor()) # 将数据集划分为训练集和验证集 (80% 训练, 20% 验证) train_size = int(0.8 * len(dataset)) val_size = len(dataset) - train_size train_dataset, val_dataset = random_split(dataset, [train_size, val_size]) # 定义 DataLoader batch_size = 64 train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True) val_loader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False) ``` 上述代码展示了如何通过随机划分的方法生成训练集和验证集，并分别为它们定义了两个不同的 `DataLoader` 实例。需要注意的是，在验证集中一般不需要打乱顺序 (`shuffle=False`)，因为这不会影响模型评估的效果[^3]。 #### 在验证阶段应用模型参数当利用验证集测试模型性能时，需确保已保存好的模型参数被正确加载到目标网络架构中。例如，如果之前已经按照如下方式保存了一个 ResNet-18 的参数文件，则可以在新的实例上恢复这些权重[^1]: ```python import torch import torchvision.models as models import torch.nn as nn model = models.resnet18() model.fc = nn.Linear(512, 10) state_dict = torch.load('./params/resnet18_params.pt') model.load_state_dict(state_dict) ``` 这里假设我们有一个预训练过的分类器（具有修改后的全连接层），并通过调用 `.load_state_dict()` 方法将其状态字典重新应用于新构建的对象之上。 #### 批量输入注意事项由于所有的神经网络组件都设计成接收批量形式的小型张量作为其标准输入格式，因此即使只有一个单独样本也需要调整形状以便于兼容性检查[^2]。比如下面的例子演示了怎样给定单一图像后适配至预期尺寸: ```python single_image_tensor = ... # 假设这是你的原始图片转换得到的结果 if single_image_tensor.ndim == 3: single_image_tensor = single_image_tensor.unsqueeze(0) # 添加批次维度 output = model(single_image_tensor) ``` 这样做的目的是使单个样本也能满足框架内部对于多维数组的要求——即至少具备 `[Batch Size, Channels, Height, Width]` 这样的布局结构。 --- ### 总结综上所述，PyTorch 提供了一套灵活而强大的 API 支持开发者轻松管理不同用途的数据子集以及相应配置下的前向传播过程。无论是从头开始还是基于已有成果继续优化改进现有解决方案，掌握好以上技巧都将极大提升工作效率并减少潜在错误发生概率。