RuntimeError: Could not infer dtype of NoneType

原创 已于 2022-03-15 19:47:21 修改 · 1w 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #深度学习 #python

于 2022-03-15 11:54:33 首次发布
当使用PyTorch的DataLoader加载数据时，可能会遇到脏数据，如空值，导致运行时错误。解决这个问题的方法包括在数据进入Dataset前检查并跳过空值，或者自定义collate_fn函数来处理异常。参考链接提供了具体的实现细节和示例代码，帮助开发者有效地过滤和管理数据加载过程中的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

RuntimeError: Could not infer dtype of NoneType

出错原因

dataloader在dataset中一个一个读取数据的时候遇到了脏数据（空值之类的），导致在网络推理的时候出现了错误。

解决方法

方法一：跳过该数据

在数据放入dataset中之前判断image 和 label是否为空，如果为空则跳过该数据，不把他存入dataset

方法二：使用collate_fn函数

https://blog.youkuaiyun.com/guyuealian/article/details/91129367

参考链接

别人的解决方案：
https://www.yht7.com/news/135031

判断数据是否为空用pandas.isnull(obj)，记得import pandas
https://book.itheima.net/course/221/1270308811000782849/1271373716495802370

关于PyTorch读取数据的dataloader、dataset具体情况：
https://pytorch.org/tutorials/beginner/basics/data_tutorial.html

如何判断数组array是否为空：
https://blog.youkuaiyun.com/lcmssd/article/details/45013451?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2aggregatepagefirst_rank_ecpm_v1~rank_v31_ecpm-1-45013451.pc_agg_new_rank&utm_term=pycharm+array+%E5%88%A4%E6%96%AD%E6%98%AF%E7%A9%BA%E7%9A%84&spm=1000.2123.3001.4430

【深度学习】 RuntimeError: Could not infer dtype of numpy.float32 问题解决
Hoohoo的博客
08-17 8139
RuntimeError: Could not infer dtype of numpy.float32 问题解决
RuntimeError: Could not infer dtype of numpy.float32 问题解决
Alexa_的博客
09-05 6004
最近在跑深度学习的模型，训练模型和测试模型的时候都碰到了这个问题，最后发现问题出在了数据的处理上。(PYTORCH暂不支持复数数据类型)，里面参考了。pytorch版本：1.7.1。发现可以成功训练模型啦！
RuntimeError: Could not infer dtype of numpy.int64
wavehaha的博客
05-11 8223
RuntimeError: Could not infer dtype of numpy.int64 问题：再写强化学习代码时，遇到该错误，代码如下，对于传的参数max_action=2.0，使用 self.action_scale = torch.tensor(max_action)会报如上错误，主要是max_action变为了numpy.int64，所以不能用torch.tensor() class Actor(nn.Module): # def __init__(self, action_di
Fit failing with RuntimeError: Could not infer dtype of numpy.int64
qq_43637841的博客
02-21 666
could not infer dtype of numpy
解决报错问题：RuntimeError: Could not infer dtype of numpy.float32
pangtiger的博客
10-26 2184
解决报错问题：RuntimeError: Could not infer dtype of numpy.float32
train_datas, train_labels = train_loader.__iter__().__next__() RuntimeError: Could not infer dtype of numpy.float32
03-16
嗯，用户遇到了PyTorch数据加载器中出现的“Could not infer dtype of numpy.float32”错误，需要解决这个问题。让我仔细想想该怎么处理。 首先，我需要回忆一下这个错误的常见原因。根据引用[2]和[3]，这个错误...
本地部署Qwen2大模型之三：编译CPU版vLLM
F8_11的博客
12-24 5345
继续探究vLLM方式在本地部署Qwen2大模型的方法，对于未配备GPU的电脑，手动编译并安装CPU版的vLLM。
orig_height, orig_width = img.shape[:2] AttributeError: 'NoneType' object has no attribute 'shape'
最新发布
05-25
raise RuntimeError("Could not find input binding") print(f"模型输入名称: {self.input_name}, 输入形状: {self.input_shape}") if self.engine.has_implicit_batch_dimension: self.context.set_binding_...
记录我LLM预训练+微调时所有遇到的错误
我的备忘录
07-30 787
我用的是transformers==4.42.3，出错文件是model_qwen2.py 1127行，当Qwen2 bfloat16时不出错，量化后出错，训练和推理都是。然而服务器和本地对比出错部分的代码，发现俩版本都是4.42.3，结果文件不一样。太啥比了，不知道怎么回事，输出半天也没发现哪里有问题。由于这个py文件我已经全读过了，出错代码我却从来没见过，遂卸载transformers重装。第一次重装后，运行通过，第二次运行又出现该错误，观察model_qwen2.py发现又是错误代码。
RuntimeError: mean(): could not infer output dtype. Input dtype must be either a floating point ...
qq_53354720的博客
06-10 454
【代码】RuntimeError: mean(): could not infer output dtype. Input dtype must be either a floating point ...
RuntimeError: Could not infer dtype of numpy.uint8
小小老大MUTA的博客
12-30 1186
复现RT-DETR的问题
RuntimeError: Could not infer dtype of complex (PyTorch暂不支持复数数据类型)
热门推荐
风筝大晒的博客
02-13 1万+
# 输入1 torch.tensor([1 + 1j]) # 报错信息 # RuntimeError: Could not infer dtype of complex # 输入2 torch.tensor([1 + 1j], dtype=torch.complex128) # 报错信息 # RuntimeError: Could not run 'aten::empty.memory_fo...
YOLOv5 train.py运行异常
Renyu195的博客
08-24 598
yolov5运行报错
YOLOv5本地模型训练报错解决
心之所向
08-04 888
训练过程中，发生下图所示的报错，同时pycharm崩溃。intput后面的路径，就是报错那里，后面给的路径。功能，降级到 Pillow 9.5 解决了该问题。出现下图所示表示执行完毕。这是因为安装了新版本的。
成功解决TypeError: no supported conversion for types: (dtype(‘O‘),)和TypeError: Cannot initialize Dataset
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-12 1492
​ 成功解决TypeError: no supported conversion for types: (dtype('O'),)和TypeError: Cannot initialize Dataset from Series 目录 解决问题 解决思路 解决方法 解决问题 TypeError: no supported conversion for types: (dtype('O'),) TypeError: Cannot initialize Dataset from Series
yolo错误：Dataset ‘mydata.yaml‘ error object of type ‘NoneType‘ has no len()
m0_69205408的博客
10-16 546
yolov8错误：Dataset 'mydata.yaml' error object of type 'NoneType' has no len()
使用h5py保存文件时报错：TypeError: Object dtype dtype('O') has no native HDF5 equivalent
weixin_42074867的博客
03-14 6525
使用h5py保存文件时报错：TypeError: Object dtype dtype(‘O’) has no native HDF5 equivalent 因为保存的时候字典对应的值仍然是字典, file[key]=value h5py进行上述操作时，value不可以是dict字典（也有可能value的值是TensorFlow的tensor数据格式所以...
DEIM训练教程
RMY239237的博客
03-14 567
torch和torchvision的版本太高，对torch和torchvision的版本进行降级，下面是我运行成功的版本。numpy的版本过高和torch的版本不匹配，对numpy版本进行降级，降级到1.X的版本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值