PyTorch RuntimeError: DataLoader worker (pid(s) 15804) exited unexpectedly

最新推荐文章于 2024-08-05 09:10:39 发布
原创 最新推荐文章于 2024-08-05 09:10:39 发布 · 3.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文探讨了如何修复RuntimeError: DataLoaderworker exited unexpectedly的问题，重点在于Python多进程设置和可能的原因，如共享内存不足和批大小调整。作者建议将多进程代码置于if __name__ == '__main__'内，并提供了相关解决方案和参考链接。

@创建于：2021.10.20

1、报错

RuntimeError: DataLoader worker (pid(s) 15804) exited unexpectedly

网络上给出了方案，如：

  • cuda 虚拟环境的共享内存不足，增大内存；
  • 改成更小的batchsize。

2、我的方案

我的代码中，num_workers = 2，启用了多进程。

Python中多进程（multiprocessing这个模块包）的内容必须放在if name == 'main’之内才可以。多线程（threading这个模块包）是没有这项限定的。

所以，如果使用多进程，请务必放在if name == 'main’内。

3、参考链接

RuntimeError: DataLoader worker (pid(s) 8548, 6916) exited unexpectedly
VegetableofDog的博客
05-12 9560
深度学习，Lenet函数的实现，神经网络，
RuntimeError: DataLoader worker (pid(s) ***********) exited unexpectedly
teletubbies的博客
10-03 1515
File "D:\Pycharm-WorkSpace\d2l-zh-pytorch\5 卷积神经网络\5.6 深度卷积神经网络（AlexNet）.py", line 74, in File "D:\Pycharm-WorkSpace\d2l-zh-pytorch\5 卷积神经网络\5.6 深度卷积神经网络（AlexNet）.py", line 74, in # 减小卷积窗口，使用填充为2来使得输入与输出的高和宽一致，且增大输出通道数。使用丢弃层来缓解过拟合。
pytorch报错RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly
月亮不知道的博客
06-25 1万+
报错 pytorch报错RuntimeError: DataLoader worker (pid(s) ... exited unexpectedly 解决 因为torch.utils.data.DataLoader中设置了num_works=4，也就是多线程读取。 根据其他方法，我设置num_works=1或者num_works=0都不行。 最后用conda重装了pytorch，就可以了。 conda install pytorch=0.1.10 -c soumith 原因分析 过程中显示下面内容，
Pytorch中Dataloader踩坑：RuntimeError: DataLoader worker (pid(s) 6700, 10620) exited unexpectedly
热门推荐
qq_38662733的博客
09-12 3万+
Pytorch中Dataloader踩坑环境：问题背景：观察报错信息进行分析根据分析进行修改尝试总结 环境： 系统：windows10 Pytorch版本：1.5.1+cu101 问题背景： 直接上代码（来源莫烦Python）： import torch import torch.utils.data as Data print(torch.__version__) BATACH_SIZE = 5 x = torch.linspace(1,10,10) # [1, 2, 3, 4, 5
pytorch: RuntimeError: DataLoader worker (pid(s) 27292) exited unexpectedly
m0_46429066的博客
08-02 1914
在anaconda3虚拟环境中执行python代码，代码中使用pytorch框架，运行时出现上述问题，然后根据网上查找到的资料，推荐的解决方法是将numworkers = **注释掉，还有将dataloader放在if __name__ "__main__":的代码段中，但是并不能解决我当前的问题，因为我出现这个问题是由于修改了运行python文件的版本，详见上一个问题： Linux服务器上运行py文件，出现ImportError: No module named torch问题链接 所以当前的问题是P
精选资源
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset,...
【Bug】Pytorch RuntimeError: DataLoader worker (pid(s) 15904) exited unexpectedly
集电极
08-05 1640
这是由于多线程加载数据使用不当使用的错误，因此可以设置为单线程即可，num_workers 不设置或设置为。意思是，这是运行时错误，是由于在主进程完成初始化之前试图启动了新的进程导致的错误。将涉及dataloader 的代码放置在。在使用 PyTorch 的。下运行，修改代码如下。
RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly
AnneMOMO's Blog
11-20 1107
@Pytorch| RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly 使用pytorch多线程进行测试时，出现上述问题，我的环境是pytorch+anaconda+pycharm； 出现这种问题的可能原因：cuda 虚拟环境的共享内存不足 解决办法： 1、改成更小的batchsize； 2、在
解决[pytorch RuntimeError]:DataLoader worker (pid(s) 18372, 20608, 2652) exited unexpectedly
m0_50531789的博客
03-30 281
RuntimeError: DataLoader worker (pid(s) 18372, 20608, 2652) exited unexpectedly
解决pytorch报错:RuntimeError: DataLoader worker (pid(s) ***, ***, ***, ***) exited unexpectedly
weixin_47414581的博客
12-15 1328
后来看到一个帖子说，报错里面有一句是说“if __name__ == '__main__':”的用途，即报错里面出现这个就是希望你封装你的运行代码在这个函数里（虽然不知道具体是为什么，但大概明白要做这个封装，捂脸），后来看了一些帖子，最后实在没办法就在包和模块导入的下面，即运行代码的上面加了这句代码，不过！一定要注意加完后下方运行代码的缩进！看了网上好多说这个报错是数据堵塞或者线程开的太多xxxxx之类原因，要设置downloader的num_worker为0。，也有相同的问题的朋友也可以看看～
正确解决pytorch报错:RuntimeError: DataLoader worker (pid(s) ***, ***, ***, ***) exited unexpectedly，亲测有效
weixin_43917589的博客
05-27 2万+
错误原因：torch.utils.data.DataLoader中的num_workers错误 将num_workers改为0即可，0是默认值。 num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 若： 将num_workers设置为0，程序报错，并提示设置环境变量KMP_DUPLICATE_LIB_OK=TRUE 那你可以在设置环境变量KMP_DUPLICATE_LIB_OK=TRUE 或者使用临时环境变量：（在代码开始处添加这行代码） os.environ['KMP_DUPL
PyTorch DataLoader 报错 “DataLoader worker exited unexpectedly“ 的解决方案
枯木何日可逢春
08-21 5922
PyTorch DataLoader 报错 "DataLoader worker exited unexpectedly" 的解决方案
Pytorch的DataLoader多线程读取问题
Novelin的博客
12-08 2815
RuntimeError: DataLoader worker (pid(s) 10160) exited unexpectedly 错误解决
报错-RuntimeError: DataLoader worker (pid(s) 8032, 6100, 3156, 4912) exited unexpectedly
u010442263的博客
08-20 665
报错-RuntimeError: DataLoader worker (pid(s) 8032, 6100, 3156, 4912) exited unexpectedly
报错：RuntimeError_ DataLoader worker (pid(s) 9856, 4004) exited unexpectedly
一只努力学习的小碗~
07-03 321
PyTorch报错记录解决方案
RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly’.format(pids_str))
独自登高楼 望断天涯路
04-29 1076
原文链接：https://blog.youkuaiyun.com/weixin_42455006/article/details/127656107)
RuntimeError: DataLoader worker (pid(s) 4260, 18120, 14152, 12280) exited unexpectedly解决方案
weixin_45186425的博客
10-04 1841
RuntimeError: DataLoader worker (pid(s) 4260, 18120, 14152, 12280) exited unexpectedly解决方案
RuntimeError: DataLoader worker (pid(s) 6376) exited unexpectedly
最新发布
08-13
首先，用户的问题是关于解决PyTorch中的运行时错误：RuntimeError: DataLoader worker (pid(s) ...) exited unexpectedly。我需要根据提供的引用和系统指令来回答。 系统指令： - 所有行内数学表达式使用$...$格式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值