pytorch读取自制数据集出现过的问题

最新推荐文章于 2024-09-26 13:05:54 发布

qq_35407318

最新推荐文章于 2024-09-26 13:05:54 发布

阅读量1.8k

点赞数 2

分类专栏：目标检测模型压缩文章标签： python pytorch 深度学习机器学习

本文链接：https://blog.youkuaiyun.com/qq_35407318/article/details/107327370

版权

本文总结了在使用PyTorch训练模型时遇到的四个常见问题：1) 数据格式错误，通过设置transform.ToTensor()转换解决；2) TypeError在append()函数中，需确保参数正确传递；3) 数据与模型设备不一致，需统一在GPU或CPU上运行；4) 图像通道不匹配，针对灰度图调整模式为L。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

笔记

问题1
- 问题描述：
- 解决方式
问题2
- 问题描述：
- 解决方式
问题3
- 问题描述
- 解决方式
问题四
- 问题描述
- 解决方式

问题1

问题描述：

TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found <class 'PIL.Image.Image'>

解决方式

数据格式不对，把image转成tensor，参数transform进行如下设置就可以了：transform=transform.ToTensor()。注意检测一下transform

问题2

问题描述：

TypeError: append() takes exactly one argument (2 given)
出现问题的地方

imgs.append(words[0], int(words[1]))

解决方式

加括号，如下

imgs.append((words[0], int(words[1])))

问题3

问题描述

RuntimeError: Input type (torch.cuda.FloatTensor) and weight type (torch.FloatTensor) should be the same

解决方式

数据和模型不在同一设备上，应该要么都在GPU运行

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_35407318

关注关注

2
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

亲测解决default_collate: batch must contain tensors, numpy arrays, numbers, found ＜class ‘NoneType‘＞

狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs

03-13

1205

这个问题是由于dataloader读取的数据中有None类型的变量，而default_collate不能处理这种变量。解决方法是检查读取的变量，如果None可以设成0不使用。

自定义数据集DataLoader迭代载入时报错“＜class ‘NoneType‘＞”

Pak00000的博客

11-23

3662

Pytorch中DataLoader自定义数据集载入时报错“TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found 《class 'NoneType'》”问题描述产生原因解决办法程序展示总结问题描述创建自己的数据集并用DataLoader载入时报出如下错误：产生原因该问题表明在用迭代器循环载入数据及标签时，存在某一数据类型为’None’ 解决办法提前剔

1 条评论您还未登录，请先登录后发表或查看评论

TypeError: default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists； found

qq_41413211的博客

09-14

1893

（已解决）在多进程加载数据时遇到这个问题：将。这通常意味数据集（通常是一个继承自。原因：DataLoader中出现了。的类）在某个时候返回了。

default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists； found object

weixin_42498802的博客

12-27

302

解决方案： https://blog.csdn.net/HaoZiHuang/article/details/120243534。

pytorch下大型数据集(大型图片)的导入

LG的博客

09-06

6621

使用torch.utils.data.Dataset类处理图片数据时， 1. 我们需要定义三个基本的函数，以下是基本流程 class our_datasets(Data.Dataset): def __init__(self,root,is_resize=False,is_transfrom=False): #这里只是个参考。按自己需求写。 sel...

pytorch读取自制数据集

04-12

可以使用PyTorch中的Dataset和DataLoader类来读取自制数据集。首先需要自定义一个数据集类，继承于torch.utils.data.Dataset类，然后实现__getitem__和__len__方法。在__getitem__方法中返回每个样本的数据和标签，_...

PyTorch系列 (二): pytorch数据读取自制数据集并

sinat_28371057的博客

02-28

1309

PyTorch系列 (二): pytorch数据读取 PyTorch 1: How to use data in pytorch Posted by WangW on February 1, 2019 参考： PyTorch documentation PyTorch 码源本文首先介绍了有关预处理包的源码，接着介绍了在数据处理中的具体应用； 1 PyTorch数据预处理以及源码分析 (torch.utils.data) torch.utils.data脚本码源 1.1 Dataset D

Pytorch:自定义数据集及使用(附python代码)

最新发布

weixin_51148634的博客

09-26

1294

本文介绍了使用Pytorch自定义数据集，并简单阐述了获取数据的过程。

PyTorch中实现数据集的自定义读取

Tangguoseo的博客

03-19

2379

git到一个新项目，想要跑自己的数据，有人尝试按照项目模板去构建自己的数据集，那么，反过来想想，我们可不可以学习不同类型数据集的读取方式，从而更方便地训练自己的数据集呢？

Pytorch TypeError: batch must contain tensors, numbers, dicts or lists

banxia1995的博客

04-12

2120

pytorch 出现Pytorch TypeError: batch must contain tensors, numbers, dicts or lists错误，应该是dataloader的错误。可以加上如下几句： if self.is_transfrom: img_data=self.is_transfrom(img_data) return img_data,lab 参考博客...

pytorch 实现tensor与numpy数组转换

12-23

看代码，tensor转numpy: a = torch.ones(2,2) b = a.numpy() c=np.array(a) #也可以转numpy数组 print(type(a)) print(type(b)) print(a) print(b) 输出为： tensor([[1., 1.], [1., 1.]]) [[1. 1.] [1. 1.]] numpy转tensor： import torch import numpy as np a = np.ones(5) b = torch.

pytorch--调代码中遇到的bug

weixin_42630613的博客

06-23

1657

1、ValueError: empty range for randrange() (0,-1, -1) transform_train = transforms.Compose([ transforms.Resize((32, 32)),###没有添加这一行导致的 transforms.RandomCrop(32, padding=4), transforms.RandomHorizontalFlip(), transforms.Rand

pytorch训练模型遇到的问题

qq_33343450的博客

10-22

6840

pytorch训练模型遇到的问题1、AttributeError: 'DataParallel' object has no attribute 'fc'2、TypeError: zip argument #122 must support iteration 1、AttributeError: ‘DataParallel’ object has no attribute ‘fc’ 在 pytorch 多GPU训练下，存储整个模型（而不是model.state_dict() ）后再调用模型可能会遇到

【笔记】DataLoader的collate_fn参数：方便自己转换img和target的类型

nyist_yangguang的博客

10-12

1472

collate_fn 参数的目的主要是为了随心所欲的转变数据的类型，这个数据是用DataLoader加载的，比如img，target。 eg： def yolo_dataset_collate(batch): images = [] bboxes = [] for img, box in batch: images.append(img) bboxes.append(box) images = np.array(image...

jupyter 挂掉的内核和transform=torchvision.transforms.ToTensor()

teletubbies的博客

09-01

820

jupyter 挂掉的内核和transform=torchvision.transforms.ToTensor()

pytorch使用时一些变量类型的注意事项

weixin_37198422的博客

05-26

779

1.报错”default_collate: batch must contain tensors, numpy arrays, numbers, dicts or lists; found <U32“ 原因：检查dataset的getitem，里面每次获得的数据是否是tensors, numpy arrays, numbers, dicts or lists 我的原始数据里大多数是float，但含有少数str，调用np.array后还是str，因此for ... in dataloader时，

paddle 2.0 RuntimeError: Unknown data type ＜class ‘PIL.Image.Image‘＞

Learning from the mistakes

01-26

917

今天在用paddle 2.0的时候，跑minst数据集的时候，发现了下面的问题：查看更多log信息的命令： eport FLAGS_call_stack_level=2 然后重新运行代码，就会出现更多的嗯日志，我的部分日志如下： .... File "/home/wu/anaconda3/lib/python3.7/site-packages/paddle/fluid/dataloader/dataloader_iter.py", line 95, in default_collate_f

PIL.Image和np.ndarray图片与Tensor之间的转换