UserWarning: `DataLoader` returned 0 length. Please make sure this was your intention.

于 2024-04-17 14:43:51 发布
阅读量417 收藏
点赞数 1
文章标签： 目标检测 bug
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44504525/article/details/137872898
版权
在使用Nanodet时遇到DataLoader返回长度为0的警告，经排查是GPU资源不足。通过参考GitHubissue，将config文件中的workers_per_gpu从10调整为2，batchsize_per_gpu从96减为16解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在跑nanodet【https://github.com/RangiLyu/nanodet】的时侯，出现：

UserWarning: DataLoader returned 0 length. Please make sure this was your intention.

应该是GPU资源不够，按照别人的说法【https://github.com/RangiLyu/nanodet/issues/486】，我将config文件中的

workers_per_gpu: 10
batchsize_per_gpu: 96

调整小，就可以了

workers_per_gpu: 2
batchsize_per_gpu: 16

Showi萧
关注
UserWarning: PySoundFile failed. Trying audioread instead.
NLP与推荐算法
01-21 1万+
老子安装librosa后出现这个warning，真是够了，啥玩意。虽是警告，但看起来不顺眼，不舒服，想去掉。 完整错误如下： UserWarning: PySoundFile failed. Trying audioread instead. warnings.warn('PySoundFile failed. Trying audioread instead.') 我之前安装lib...
解决Dataloader报错:ValueError: too many values to unpack (expected 2)
hjtsml_future的博客
12-08 4040
原始代码： # 构建一个能够加载数据集的类 class MyDataset(Dataset): # 继承Dataset # 得到一个包含图像和标签的列表 def __init__(self, root, label_root,transform=None,is_aug=None,fix_size=(244, 244)): # 初始化一些属性 data_list = get_data(root) # 得到数据的名字列表 label = get_labe
Total length of `Dataloader` across ranks is zero. Please make sure that it returns at least 1 batch
qq_37923376的博客
10-12 3297
trainer.py中，下图分别为训练集、评估集的DataLoader对象，data.py中，报为0的是下面这个DataLoader对象，是评估集的，愿意就是划分数据集的时候，数据集太小，全划给训练集了。
解决DataLoader产生的数据全是零的问题
小峥嵘(〃'▽'〃)=>猪头代码
04-15 2394
产生这个的主要原因是DataLoader无法处理GPU内的数据，只能使用CPU处理，故在Dataset中的__getitem__函数的返回值只能是cpu中的数据
ValueError: Caught ValueError in DataLoader worker process 0.
qq_37705280的博客
10-24 6859
找了一天，网上基本没有这方面的内容 就一个github的相关讨论 还没看明白人家说的啥。 一开始怀疑各种原因，以为是dataloader的问题（后来想想在，怎么可能，官方包怎么会有这种问题。。。。。） 最后解决办法：从新拷贝了一份数据集。 可能是因为之前拷贝数据集的时候中断过，数据出了问题。 ...
pytorch中DataLoader()过程中遇到的问题
yangling1035的博客
04-12 770
pytorch中DataLoader()过程中遇到的问题
解决UserWarning: ‘data.DataLoader‘ is deprecated, use ‘loader.DataLoader‘ instead warnings.warn(out)
m0_62165705的博客
09-21 1855
解决UserWarning: 'data.DataLoader' is deprecated, use 'loader.DataLoader' instead warnings.warn(out)
报错 UserWarning: No NMS is available. Please upgrade torchvision to 0.3.0+
m0_46256682的博客
08-17 1190
原因是python比较版本号的时候，按照字符下标顺序比较，如：0.13.1和0.3.0，比较的时候是13的1和3进行比较，就会报错。我是显示正常版本号，错误的话会显示false。显示false的情况这里不讨论。先检查pytorch 和 torchvision 是否正确安装。...
【debug】diffusion 报错 数据集加载问题
prinTao的博客
01-03 778
【代码】【debug】diffusion 报错 数据集加载问题。
UserWarning: Possibly corrupt EXIF data.捕捉错误并将图片删除
weixin_42385606的博客
03-29 2613
用Python Image库在进行图片读取时，会遇到下面的报错，是因为本身图片损坏。但是它只会进行警告，不会暂停程序或者把图片移除。 /app/anaconda3/envs/tensorflow/lib/python3.5/site-packages/PIL/TiffImagePlugin.py:763: UserWarning: Possibly corrupt EXIF data. Expe...
UserWarning: torch.nn.utils.clip_grad_norm is now deprecated in favor of torch.nn.utils.clip_grad_no
qihshe的博客
01-04 1939
这样做的目的是限制模型参数的梯度范数，以防止梯度过大导致训练不稳定等问题。版本的函数，将在不增加额外内存开销的情况下完成梯度裁剪操作。后缀版本的函数会直接修改张量的梯度值，而不会创建新的副本。函数已被弃用，并推荐使用。在 PyTorch 中，
DataLoader多线程报错问题解决
qq_37566138的博客
11-04 2211
（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练； （2）iteration：1个iteration等于使用batchsize个样本训练一次； （3）epoch：1个epoch等于使用训练集中的全部样本训练一次，通俗的讲epoch的值就是整个数据集被轮几次。 因为window和liux的差距，所以需要将运行封装起来，如下 ...
PyTorch Dataloader报错ValueError: num_samples的另一种可能原因
阳光素描
08-11 1万+
先粘报错信息： Traceback (most recent call last): File “train.py”, line 169, in train_test() File “train.py”, line 29, in train_test dataloader_train = DataLoader(dataset_train, batch_size=batch_size, shuffle=True, pin_memory=True, drop_last=False) File “/d
安装pytorch_lightning要点
2301_76619243的博客
05-29 4695
不记得是哪一个了，重要的是后面跟版本号）（安装完了之后记得重新打印一下torch版本看一下，有可能安装lightning时把原先的GPU版torch卸载，安装了CPU版的torch，这也是坑所在，注意注意！没出现报错就是安装成功了（或者直接运行下面的最简LigntningModule）torch和lightning都使用pip安装。(0.6.0其实是瞎碰的，然后报错竟然没有了)以上为个人经验记录，仅供参考。(折腾了一上午，简直崩溃！至此，应该是安装成功了。
PyTorch学习笔记(6)——DataLoader源代码剖析
热门推荐
g11d111的博客
08-08 5万+
这两天把DataLoader的源代码的主要内容进行了一些分析，基于版本0.4.1。当然，因为内容比较多，没有全部展开，这里的主要内容是DataLoader关于数据加载以及分析PyTorch是如何通过Python本身的multiprocessing和Threading等库来保证batch是顺序取出的。额外的内容都会给出链接，在这里不会详细展开。 0.前言（楔子） 本篇关于DataLoad...
pytorchDataLoader中调整数据长度不一致问题（lstm等）
weixin_48174100的博客
09-08 7503
数据长度不一致 用pytorch做rnn的时候，如果输入数据不一样长，可以用两种方式解决。 一种是自定义collate方法， #自定义collate_fn dataloader.DataLoader(dataset,4,True,collate_fn=my_collate) 然后里面写数据和标签载入方式即可 def my_collate(batch): data = [item[0] for item in batch] target = [item[1] for item in batc
PyTorch学习 数据加载（Dataset、DataLoader）模块介绍及源码分析
weixin_44170512的博客
06-10 1457
数据加载（Dataset、DataLoader）模块介绍及源码分析
【pytorch】Dataloader学习笔记
weixin_44815943的博客
12-02 4081
总结 Pytorch中加载数据集的核心类为torch.utils.data.Dataloder，Dataloader中最核心的参数为dataset，表示需加载的源数据集。dataset有两种类型：“map-style dataset” 与 “iterable-style dataset”， map-style dataset可以理解为“每一样本值都可以通过一个索引键获取”， iterable-style dataset可以理解为“每一条样本值顺序存储在容器中，没有索引键”。参数sampler 与参数shuf
UserWarning: Truncated File Read warnings.warn(str(msg))
最新发布
03-29
在 Python 中处理文件读取操作时，如果遇到 `UserWarning: Truncated File Read` 警告，通常是因为尝试读取的文件大小超过了其实际长度或者存在不一致的情况。这种问题可能由多种原因引起，比如文件损坏、编码错误或数据流中断。 以下是针对该问题的一些解决方案： ### 1. 使用二进制模式打开文件 当读取某些类型的文件（特别是非纯文本文件）时，建议使用二进制模式 (`'rb'`) 打开文件，这可以避免因字符编码而导致的数据截断问题。 ```python with open('file_path', 'rb') as f: content = f.read() ``` ### 2. 验证文件完整性 确保目标文件未被意外修改或损坏。可以通过计算文件的哈希值并与预期值比较来验证文件完整性[^1]。 ```python import hashlib def calculate_md5(file_path): hash_md5 = hashlib.md5() with open(file_path, "rb") as f: for chunk in iter(lambda: f.read(4096), b""): hash_md5.update(chunk) return hash_md5.hexdigest() expected_hash = "your_expected_hash" actual_hash = calculate_md5('file_path') if expected_hash != actual_hash: raise ValueError("File is corrupted or incomplete.") ``` ### 3. 设置缓冲区大小 对于大文件，适当调整缓冲区大小可能会减少由于内存不足而引发的截断风险。 ```python buffer_size = 8 * 1024 * 1024 # 8MB buffer size content_chunks = [] with open('file_path', 'r', buffering=buffer_size) as f: while True: data_chunk = f.read(buffer_size) if not data_chunk: break content_chunks.append(data_chunk) full_content = ''.join(content_chunks) ``` ### 4. 处理特殊字符和编码 有时文件中的特殊字符可能导致解析器提前终止读取过程。指定正确的编码方式可以帮助解决这一类问题。 ```python try: with open('file_path', encoding='utf-8') as f: content = f.read() except UnicodeDecodeError: print("Decoding error encountered!") ``` 通过上述方法之一或多者组合应用，能够有效缓解甚至完全消除 `Truncated File Read` 的警告现象。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值