RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) from e

原创 已于 2022-11-20 14:32:47 修改 · 3.1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

于 2022-08-31 17:09:04 首次发布
本文主要探讨在数据处理过程中遇到的多线程加载错误，分析了数据读取和格式转换可能导致的问题，并提供了检查数据读取和环境配置的建议。特别提醒使用VSCode的开发者注意conda环境和编译器环境的一致性，以避免不必要的错误。
部署运行你感兴趣的模型镜像

多线程加载报错


在迭代数据过程中报错,这里多半是数据读取和格式转换出了问题,查看一下你的数据读取是否有问题,返回的数据类型是否统一之类的。

新手入门避坑

另一个原因就很气：如果使用的vscode，看一下你的conda环境和编译器环境是否一致。

您可能感兴趣的与本文相关的镜像

Python3.8

Python3.8

Conda
Python

Python 是一种高级、解释型、通用的编程语言，以其简洁易读的语法而闻名，适用于广泛的应用，包括Web开发、数据分析、人工智能和自动化脚本

YOLOv8: RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) from e
joe8910的博客
05-27 1219
1、分配python安装目录内存空间，我python环境默认安装在C盘，在分配之前，我C盘的内存只有70G左右，使用“分区助手”把其它硬盘的多余空间分配给C盘，如下图所示，打开 分区助手，选择内存空间比较多的盘，这里我选择“F盘”，点击左侧”分配空闲空间“，点击下拉框，选择要分配的盘，这里我选择”C盘“（python安装的目录）分配之后，我的C盘空间由原来只剩下70G，变成了185G。2、空间分配完成后，重启电脑，再尝试YOLOv8训练，看是否还会报错，我的还是会报错误二，页面文件太小错误。
raise RuntimeError(f‘DataLoader worker (pid(s) {pids_str}) exited unexpectedly‘) from e RuntimeError
qq_42042528的博客
12-16 1209
raise RuntimeError(f'DataLoader worker (pid(s) {pids_str}) exited unexpectedly') from e RuntimeError: DataLoader worker (pid(s) 39164, 35716) exited unexpectedly
【Python】 raise RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) fr
...
01-16 4100
实验室也没有可以使用的机器，只能在自己的电脑上跑，本机性能堪忧，在跑num_workers=2的数据都吃不消 test_dataloader = D.DataLoader(test_datasets,BATCH,True,num_workers=2) 改成：(删掉num_workers=2) test_dataloader = D.DataLoader(test_datasets,BATCH,True) ...
python报错 python raise RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_s
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
02-05 5035
1、问题 python raise RuntimeError('DataLoader worker (pid(s) {}) exited unexpectedly'.format(pids_str)) 2、解决 将num_workers设置为0 一般出现在加载数据的地方 代码import还需要设置环境变量 import os.environ['KMP_DUPLICATE_LIB_OK'] = 'TRUE' ...
raise RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str))RuntimeErro
阿伟的博客
03-22 1万+
今天在使用pytorch加载数据时出现如下错误： raise RuntimeError('DataLoader worker (pid(s) {}) exited unexpectedly'.format(pids_str)) RuntimeError: DataLoader worker (pid(s) 4252, 17184) exited unexpectedly 仔细分析了一下，原因定位在num_workers dataloader = DataLoader(dataset,batch_s
RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly’.format(pids_str))
独自登高楼 望断天涯路
04-29 1080
原文链接：https://blog.csdn.net/weixin_42455006/article/details/127656107)
YOLOv8:raise RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) from
一名混沌的大学生
07-15 954
2、页面文件太小，无法完成操作，修改虚拟内存，要修改python安装硬盘的虚拟内存，如果python环境安装在C盘，那就修改C盘，如果安装在D盘，那就修改D盘;使用了该方法之后，能解决问题二，但训练了一轮之后，会报问题一的错误，还是没能彻底解决问题；1、将num_workers修改为0，但我在程序里面，把所有能修改的num_workers变量都修改了一遍，还是解决不了；OSError: [WinError 1455] 页面文件太小，无法完成操作。
精选资源
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset,...
raise RuntimeError('DataLoader worker (pid(s) {}) exited unexpectedly'.format(pids_str)) from e RuntimeError: DataLoader worker (pid(s) 24356, 18812, 11380, 26684) exited unexpectedly
最新发布
12-05
> 通过上述方法，99%的`RuntimeError: DataLoader worker (pid(s) ...) exited unexpectedly`错误可被解决。建议优先采用**主模块保护**方案[^5]，其次考虑调整`num_workers`数量[^4]。 [^1]: [RuntimeError: ...
《动手学深度学习》之深度卷积神经网络（AlexNet）
乾巽的博客
02-06 466
参考深度卷积神经网络（AlexNet） import time import torch from torch import nn, optim import torchvision import sys sys.path.append("..") import d2lzh_pytorch as d2l device = torch.device('cuda' if torch.cuda....
Pytorch中Dataloader踩坑：RuntimeError: DataLoader worker (pid(s) 6700, 10620) exited unexpectedly
热门推荐
qq_38662733的博客
09-12 3万+
Pytorch中Dataloader踩坑环境：问题背景：观察报错信息进行分析根据分析进行修改尝试总结 环境： 系统：windows10 Pytorch版本：1.5.1+cu101 问题背景： 直接上代码（来源莫烦Python）： import torch import torch.utils.data as Data print(torch.__version__) BATACH_SIZE = 5 x = torch.linspace(1,10,10) # [1, 2, 3, 4, 5
RuntimeError: DataLoader worker (pid(s) 46220) exited unexpectedly
weixin_42455006的博客
11-02 2925
其实吧，这个问题说难不难，说简单也简单。出现这个Error很明显，就是，而且不是以往那种CPU利用率拉满，而GPU虽然占用率拉满，但实际利用率不高的情况。打个比方，以前是cpu加载数据要个20-30s，但gpu零点几秒就处理完成了，从而一直等待。这种情况只会让模型运行时间变长而已。现在则是两极反转，Dataloader的了。导致cpu加载数据快到飞起，反而GPU跟不上了，就会出现异常，然后杀死进程，出现如上结果。
RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly
weixin_44575717的博客
02-18 3809
RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly
成功解决：RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly
jerry zhang的sally wu
12-19 2万+
num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 将num_workers改为0即可，0是默认值。
raise RuntimeError(f‘DataLoader worker (pid(s) {pids_str}) exited unexpectedly‘) from e Runtime
qq_53821535的博客
11-25 1211
最近新入手了一个二手的macbook air m1 准备测试一下m1应对机器学习的能力 找到一位老哥的文章以及代码进行测试： https://blog.csdn.net/KaelCui/article/details/106184158运行范例代码之后出现如下错误提示： raise RuntimeError(f’DataLoader worker (pid(s) {pids_str}) exited unexpectedly’) from e RuntimeError: DataLoader worker
pytorch报错RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly
weixin_36670529的博客
03-07 1万+
报错 pytorch报错RuntimeError: DataLoader worker (pid(s) ... exited unexpectedly 解决 因为torch.utils.data.DataLoader中设置了num_works=4，也就是多线程读取。 根据其他方法，我设置num_works=1或者num_works=0都不行。 最后重装了pytorch，就可以了。 pip install torch==1.5.1+cu101 torchvision==0.6.1+cu101 -
报错-RuntimeError: DataLoader worker (pid(s) 8032, 6100, 3156, 4912) exited unexpectedly
u010442263的博客
08-20 666
报错-RuntimeError: DataLoader worker (pid(s) 8032, 6100, 3156, 4912) exited unexpectedly
解决pytorch报错:RuntimeError: DataLoader worker (pid(s) ***, ***, ***, ***) exited unexpectedly
weixin_47414581的博客
12-15 1330
后来看到一个帖子说，报错里面有一句是说“if __name__ == '__main__':”的用途，即报错里面出现这个就是希望你封装你的运行代码在这个函数里（虽然不知道具体是为什么，但大概明白要做这个封装，捂脸），后来看了一些帖子，最后实在没办法就在包和模块导入的下面，即运行代码的上面加了这句代码，不过！一定要注意加完后下方运行代码的缩进！看了网上好多说这个报错是数据堵塞或者线程开的太多xxxxx之类原因，要设置downloader的num_worker为0。，也有相同的问题的朋友也可以看看～
RuntimeError: DataLoader worker (pid(s) xxxx,xxxx ) exited unexpectedly
ODALEX的博客
04-15 6497
RuntimeError: DataLoader worker (pid(s) xxxx,xxxx ) exited unexpectedly（运行时错误：DataLoader工作进程(pid(s)xxxx,xxxx意外退出） 运行时错误：DataLoader工作进程(PID)xxxx,xxxx意外退出 欢迎使用Markdown编辑器 在win10上运行超分辨率DRN算法里面的main.py文件其代码如下 import utility import data import model import loss
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

云朵不吃雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值