PyTorch RuntimeError: DataLoader worker (pid(s) 15804) exited unexpectedly

最新推荐文章于 2024-04-29 14:32:08 发布
最新推荐文章于 2024-04-29 14:32:08 发布
阅读量3.4k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： PyTorch 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chenhepg/article/details/120870439

@创建于：2021.10.20

1、报错

RuntimeError: DataLoader worker (pid(s) 15804) exited unexpectedly

网络上给出了方案，如：

  • cuda 虚拟环境的共享内存不足，增大内存；
  • 改成更小的batchsize。

2、我的方案

我的代码中，num_workers = 2，启用了多进程。

Python中多进程（multiprocessing这个模块包）的内容必须放在if name == 'main’之内才可以。多线程（threading这个模块包）是没有这项限定的。

所以，如果使用多进程，请务必放在if name == 'main’内。

3、参考链接

pytorch: RuntimeError: DataLoader worker (pid(s) 27292) exited unexpectedly
Jinpeijie217的博客
03-09 4442
厉害了。。。。用win10特有的bug？？？？？？？？搞半天，就是把pytorch下dataloader的其中一个num_workers参数注释掉。可能是win10只有一个thread的原因。 torch.utils.data.DataLoader( self.dataset, # dataset class batch_size=opt.batchSize, # h...
【Bug】Pytorch RuntimeError: DataLoader worker (pid(s) 15904) exited unexpectedly
集电极
08-05 1401
这是由于多线程加载数据使用不当使用的错误，因此可以设置为单线程即可，num_workers 不设置或设置为。意思是，这是运行时错误，是由于在主进程完成初始化之前试图启动了新的进程导致的错误。将涉及dataloader 的代码放置在。在使用 PyTorch 的。下运行，修改代码如下。
pytorch报错RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly
月亮不知道的博客
06-25 1万+
报错 pytorch报错RuntimeError: DataLoader worker (pid(s) ... exited unexpectedly 解决 因为torch.utils.data.DataLoader中设置了num_works=4，也就是多线程读取。 根据其他方法，我设置num_works=1或者num_works=0都不行。 最后用conda重装了pytorch，就可以了。 conda install pytorch=0.1.10 -c soumith 原因分析 过程中显示下面内容，
Pytorch中Dataloader踩坑：RuntimeError: DataLoader worker (pid(s) 6700, 10620) exited unexpectedly
热门推荐
qq_38662733的博客
09-12 3万+
Pytorch中Dataloader踩坑环境：问题背景：观察报错信息进行分析根据分析进行修改尝试总结 环境： 系统：windows10 Pytorch版本：1.5.1+cu101 问题背景： 直接上代码（来源莫烦Python）： import torch import torch.utils.data as Data print(torch.__version__) BATACH_SIZE = 5 x = torch.linspace(1,10,10) # [1, 2, 3, 4, 5
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly
01-06
RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset,...
RuntimeError: DataLoader worker (pid(s) 8548, 6916) exited unexpectedly
VegetableofDog的博客
05-12 9385
深度学习，Lenet函数的实现，神经网络，
RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly
AnneMOMO's Blog
11-20 1009
@Pytorch| RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly 使用pytorch多线程进行测试时，出现上述问题，我的环境是pytorch+anaconda+pycharm； 出现这种问题的可能原因：cuda 虚拟环境的共享内存不足 解决办法： 1、改成更小的batchsize； 2、在
报错：RuntimeError: DataLoader worker (pid(s) 10188) exited unexpectedly
qq_49785839的博客
03-21 2074
Pytorch 报错：RuntimeError: DataLoader worker (pid(s) 2420, 11236, 7252, 3104) exited unexpectedly 并没有显示出是哪一行代码出错，但是根据提示中的DataLoader worker可知是多线程的问题，对应到代码中应该就是下图这里： num_workers = 4 train_iter = torch.utils.data.DataLoader(mnist_train, batch_size=batch_siz
解决[pytorch RuntimeError]:DataLoader worker (pid(s) 18372, 20608, 2652) exited unexpectedly
m0_50531789的博客
03-30 251
RuntimeError: DataLoader worker (pid(s) 18372, 20608, 2652) exited unexpectedly
解决pytorch报错:RuntimeError: DataLoader worker (pid(s) ***, ***, ***, ***) exited unexpectedly
weixin_47414581的博客
12-15 1225
后来看到一个帖子说，报错里面有一句是说“if __name__ == '__main__':”的用途，即报错里面出现这个就是希望你封装你的运行代码在这个函数里（虽然不知道具体是为什么，但大概明白要做这个封装，捂脸），后来看了一些帖子，最后实在没办法就在包和模块导入的下面，即运行代码的上面加了这句代码，不过！一定要注意加完后下方运行代码的缩进！看了网上好多说这个报错是数据堵塞或者线程开的太多xxxxx之类原因，要设置downloader的num_worker为0。，也有相同的问题的朋友也可以看看～
正确解决pytorch报错:RuntimeError: DataLoader worker (pid(s) ***, ***, ***, ***) exited unexpectedly，亲测有效
weixin_43917589的博客
05-27 2万+
错误原因：torch.utils.data.DataLoader中的num_workers错误 将num_workers改为0即可，0是默认值。 num_workers是用来指定开多进程的数量，默认值为0，表示不启用多进程。 若： 将num_workers设置为0，程序报错，并提示设置环境变量KMP_DUPLICATE_LIB_OK=TRUE 那你可以在设置环境变量KMP_DUPLICATE_LIB_OK=TRUE 或者使用临时环境变量：（在代码开始处添加这行代码） os.environ['KMP_DUPL
PyTorch DataLoader 报错 “DataLoader worker exited unexpectedly“ 的解决方案
枯木何日可逢春
08-21 5537
PyTorch DataLoader 报错 "DataLoader worker exited unexpectedly" 的解决方案
Pytorch的DataLoader多线程读取问题
Novelin的博客
12-08 2776
RuntimeError: DataLoader worker (pid(s) 10160) exited unexpectedly 错误解决
报错-RuntimeError: DataLoader worker (pid(s) 8032, 6100, 3156, 4912) exited unexpectedly
u010442263的博客
08-20 569
报错-RuntimeError: DataLoader worker (pid(s) 8032, 6100, 3156, 4912) exited unexpectedly
RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly’.format(pids_str))
独自登高楼 望断天涯路
04-29 852
原文链接：https://blog.youkuaiyun.com/weixin_42455006/article/details/127656107)
RuntimeError: DataLoader worker (pid(s) 46220) exited unexpectedly
weixin_42455006的博客
11-02 2814
其实吧，这个问题说难不难，说简单也简单。出现这个Error很明显，就是，而且不是以往那种CPU利用率拉满，而GPU虽然占用率拉满，但实际利用率不高的情况。打个比方，以前是cpu加载数据要个20-30s，但gpu零点几秒就处理完成了，从而一直等待。这种情况只会让模型运行时间变长而已。现在则是两极反转，Dataloader的了。导致cpu加载数据快到飞起，反而GPU跟不上了，就会出现异常，然后杀死进程，出现如上结果。
RuntimeError: DataLoader worker (pid(s) 6600, 6601) exited unexpectedly
qq_40212975的博客
03-24 5595
跑pytorch代码image_caption_gan的时候遇到： RuntimeError: DataLoader worker (pid(s) 6600, 6601) exited unexpectedly 这里一般都是num_worker的问题 我这里的num_worker=2 此时，我把num_worker的值改为0，就可以了。 DataLoader的函数定义如下： DataLoad...
RuntimeError: DataLoader worker (pid(s) 48564) exited unexpectedly
最新发布
03-12
<think>好的，用户遇到了PyTorch中常见的DataLoader工作进程意外退出的问题，需要帮助解决。首先，我得回忆一下这个错误的常见原因和解决方案。根据用户提供的引用信息，特别是引用[5]提到将num_workers设为0可以解决，这可能是因为多进程配置的问题。 首先，用户可能是在Windows系统下运行，因为多进程在Windows上有时会有问题，尤其是在使用spawn启动方法时。这时候，检查代码是否被正确保护在if __name__ == &#39;__main__&#39;块中，可能是一个关键点。此外，num_workers的设置是否正确也很重要，设为0可以禁用多进程，避免问题。 然后，用户可能没有正确关闭CUDA或存在内存泄漏，导致子进程崩溃。需要建议他们检查数据处理部分是否有异常，或者尝试减少num_workers的数量。另外，PyTorch版本问题也可能导致兼容性错误，升级或降级版本可能有效。 接下来，要确保用户的数据加载器代码没有错误，比如自定义数据集中的__getitem__或__len__方法的问题。建议用户使用调试工具或简化代码来排查。此外，关闭杀毒软件或防火墙，有时这些软件会干扰多进程的执行。 最后，需要将这些步骤整理成结构清晰的回答，分点列出，并引用提供的资料作为依据。同时，生成相关问题，帮助用户进一步理解问题根源和预防措施。</think>针对PyTorch中`RuntimeError: DataLoader worker (pid(s)...) exited unexpectedly`错误，以下是分步解决方案： ### 1. 直接解决方案 **将`num_workers`设置为0** 在DataLoader初始化时添加参数`num_workers=0`： ```python train_loader = DataLoader(dataset, batch_size=32, num_workers=0) ``` 这是最快速的解决方法，因为禁用多进程可避免子进程崩溃问题[^5]。 --- ### 2. 根本原因分析及进阶解决 #### 2.1 多进程兼容性问题 * **Windows系统限制**：Windows使用`spawn`而非`fork`创建子进程，需确保主模块被保护： ```python if __name__ == &#39;__main__&#39;: # 训练代码 ``` * **CUDA与多进程冲突**：在数据预处理中避免提前使用CUDA，将张量转换移至`__getitem__`方法内部 #### 2.2 内存/资源泄漏 * 检查自定义数据集的`__getitem__`方法 * 使用`torch.utils.data.RandomSampler`替代自定义采样器 * 验证数据加载过程中是否出现内存溢出（OOM） #### 2.3 依赖库版本冲突 尝试升级PyTorch和相关库： ```bash pip install --upgrade torch torchvision ``` --- ### 3. 验证性操作 ```python # 测试代码片段 from torch.utils.data import Dataset, DataLoader class TestDataset(Dataset): def __len__(self): return 100 def __getitem__(self, idx): return torch.randn(3,224,224), 0 # 返回随机数据 # 渐进式测试 for workers in [4, 2, 0]: # 逐步减少worker数量 try: loader = DataLoader(TestDataset(), num_workers=workers) for batch in loader: pass print(f"num_workers={workers} 工作正常") except: print(f"num_workers={workers} 失败") ``` --- ### 4. 高级配置建议 | 配置项 | 推荐值 | 作用 | |--------|--------|------| | `persistent_workers` | True | 保持worker进程存活 | | `pin_memory` | False | 减少内存锁冲突 | | `prefetch_factor` | 2 | 降低预取数量 | ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值