报错：RuntimeError: DataLoader worker (pid(s) 10188) exited unexpectedly

最新推荐文章于 2025-02-21 11:22:27 发布

Ciligu99

最新推荐文章于 2025-02-21 11:22:27 发布

阅读量2k

点赞数 1

本文链接：https://blog.youkuaiyun.com/qq_49785839/article/details/115054226

版权

Pytorch 报错：RuntimeError: DataLoader worker (pid(s) 2420, 11236, 7252, 3104) exited unexpectedly

并没有显示出是哪一行代码出错，但是根据提示中的DataLoader worker可知是多线程的问题，对应到代码中应该就是下图这里：

num_workers = 4
    train_iter = torch.utils.data.DataLoader(mnist_train, batch_size=batch_size, shuffle=True, num_workers=num_workers)
    test_iter

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Ciligu99

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly

AnneMOMO's Blog

11-20

977

@Pytorch| RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly 使用pytorch多线程进行测试时，出现上述问题，我的环境是pytorch+anaconda+pycharm；出现这种问题的可能原因：cuda 虚拟环境的共享内存不足解决办法： 1、改成更小的batchsize； 2、在

RuntimeError: DataLoader worker (pid(s) 8548, 6916) exited unexpectedly

VegetableofDog的博客

05-12

9338

深度学习，Lenet函数的实现，神经网络，

1 条评论您还未登录，请先登录后发表或查看评论

RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly

BBJG_001的博客

02-17

1万+

原文地址分类目录——Pytorch 关键词： Data.DataLoader、num_workers、batch Pytorch在开进行小批量数据下降时开多进程报错报错内容 RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的load......

RuntimeError: DataLoader worker (pid 186829) is killed by signal

最新发布

m0_53936504的博客

02-21

255

DataLoader的worker由于共享内存不足而被系统终止。PyTorch的DataLoader使用了多进程（）来加速数据加载，而每个工作进程都需要一定的共享内存。如果系统的共享内存不足，就会触发。1、临时增加系统共享内存。

报错-RuntimeError: DataLoader worker (pid(s) 8032, 6100, 3156, 4912) exited unexpectedly

u010442263的博客

08-20

561

报错-RuntimeError: DataLoader worker (pid(s) 8032, 6100, 3156, 4912) exited unexpectedly

报错 RuntimeError: DataLoader worker (pid(s) 1240, 4312, 2124, 4716) exited unexpectedly

m0_50246514的博客

10-21

774

问题出现的原因可能是线程出现死锁，导致出现报错，一般的修改办法是把dataload中的num_workers设置为0，可以参考上述链接。找不到的友友可以查找 get_dataloader_workers ，记得去 troch.py 文件的 def 函数中。修改内容为：（只需要替这个函数的return部分）具体的位置如下：（我的文件中）

RuntimeError: DataLoader worker (pid(s) 6600, 6601) exited unexpectedly

qq_40212975的博客

03-24

5580

跑pytorch代码image_caption_gan的时候遇到： RuntimeError: DataLoader worker (pid(s) 6600, 6601) exited unexpectedly 这里一般都是num_worker的问题我这里的num_worker=2 此时，我把num_worker的值改为0，就可以了。 DataLoader的函数定义如下： DataLoad...

YOLOv8: RuntimeError(‘DataLoader worker (pid(s) {}) exited unexpectedly‘.format(pids_str)) from e

joe8910的博客

05-27

1029

1、分配python安装目录内存空间，我python环境默认安装在C盘，在分配之前，我C盘的内存只有70G左右，使用“分区助手”把其它硬盘的多余空间分配给C盘，如下图所示，打开分区助手，选择内存空间比较多的盘，这里我选择“F盘”，点击左侧”分配空闲空间“，点击下拉框，选择要分配的盘，这里我选择”C盘“（python安装的目录）分配之后，我的C盘空间由原来只剩下70G，变成了185G。2、空间分配完成后，重启电脑，再尝试YOLOv8训练，看是否还会报错，我的还是会报错误二，页面文件太小错误。

【Bug】Pytorch RuntimeError: DataLoader worker (pid(s) 15904) exited unexpectedly

集电极

08-05

1354

这是由于多线程加载数据使用不当使用的错误，因此可以设置为单线程即可，num_workers 不设置或设置为。意思是，这是运行时错误，是由于在主进程完成初始化之前试图启动了新的进程导致的错误。将涉及dataloader 的代码放置在。在使用 PyTorch 的。下运行，修改代码如下。

DataLoader worker (pid(s) 13424) exited unexpectedly “nll_loss_forward_reduce_cuda_kernel_2d_index“

weixin_64546620的博客

07-30

1694

DataLoader worker (pid(s) 13424) exited unexpectedly "nll_loss_forward_reduce_cuda_kernel_2d_index" not implemented for 'Int' invalid literal for int() with base 10: 'Test\\94' 三个问题的解决

出现DataLoader worker (pid(s) 22372, 5076, 21860, 9012) exited unexpectedly解决方法分享

weixin_45920120的博客

10-21

353

DataLoader worker (pid(s) 22372, 5076, 21860, 9012) exited unexpectedly解决方法

debug时出现错误： RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly

shaojie_45的博客

10-07

710

修改：将workers_per_gpu从2修改为0，就可以正常debug了。samples_per_gpu指定一张卡里面同时训练几张图片，workers_per_gpu指定进程数，可以改成单进程的来debug。我的解决方法，找到使用的dataset对应的配置文件。比如我使用的时Pascal VOC数据集，那么在目录：configs//datasets/voc0712.py可以找到相应的配置。如果时COCO数据集则要去找其它的配置文件。问题描述：使用mmdetection，用vscode编写代码。

PyTorch DataLoader 报错 “DataLoader worker exited unexpectedly“ 的解决方案

枯木何日可逢春

08-21

5354

PyTorch DataLoader 报错 "DataLoader worker exited unexpectedly" 的解决方案

pytorch报错RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly

月亮不知道的博客

06-25

1万+

报错 pytorch报错RuntimeError: DataLoader worker (pid(s) ... exited unexpectedly 解决因为torch.utils.data.DataLoader中设置了num_works=4，也就是多线程读取。根据其他方法，我设置num_works=1或者num_works=0都不行。最后用conda重装了pytorch，就可以了。 conda install pytorch=0.1.10 -c soumith 原因分析过程中显示下面内容，

[解决方案] pytorch中RuntimeError: DataLoader worker (pid(s) 27292) exited unexpectedly

热门推荐

qq_41685265的博客

08-08

1万+

在运行代码前边加上： if __name__ == '__main__': 就可以了

沐神代码 DataLoader worker (pid(s) 23468, 25112, 11228) exited unexpectedly)错误

weixin_49327481的博客

03-20

1004

@[TOC](DataLoader worker (pid(s) 23468, 25112, 11228) exited unexpectedly) 沐神的课中出现这样的错误提示，表示电脑多线程处理时候发生错误，将对应的num_workers设置为0即可解决。可将文件d2l目录下的utils文件和torch文件中所有load_data_fashion_mnist函数中data.DataLoader的参数num_workers设置为0。 ...

DataLoader worker (pid(s) 11076, 3832, 2808, 9792) exited unexpectedly

上海交通大学电院毕业，现互联网大厂开发工程师

10-19

517

学习动手深度学习时跑代码出现标题问题查了下问题出于进程上。出错代码： batch_size = 256 def get_dataloader_workers(): """使用4个进程来读取数据。""" return 4 train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True, num_workers=get_dataloader_workers()

RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly

08-15

根据引用中提供的方法，解决RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly的方法是进行以下操作： 1. 根据引用的提示，找到相关代码的位置，并将函数体里的代码修改为黄线的语句： ```python def get_dataloader_workers(): """Use 4 processes to read the data. Defined in :numref:`sec_fashion_mnist`""" return 0 if sys.platform.startswith('win') else 4 ``` 2. 可以尝试增加num_workers的值，根据引用的建议，适当增加num_workers可以提高DataLoader的并行性，从而减少DataLoader进程crash的可能性。但是要注意不要增加过多，以免过多占用系统资源。这些操作可能会帮助解决RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly的问题。希望能够帮到你。123 #### 引用[.reference_title] - *1* *2* [RuntimeError: DataLoader worker (pid(s) 8548, 6916) exited unexpectedly](https://blog.youkuaiyun.com/VegetableofDog/article/details/124726339)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly](https://blog.youkuaiyun.com/weixin_44575717/article/details/129100184)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]