RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly

最新推荐文章于 2024-10-21 20:09:40 发布

原创最新推荐文章于 2024-10-21 20:09:40 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch

文章探讨了在使用多线程处理（workers）时，遇到的RuntimeError，特别是在设置为4或8时。问题涉及到cuDNN和CUDA版本不匹配，以及与WindowsError1455相关的虚拟内存限制。作者建议通过调整虚拟内存配置来解决这些问题，提高workers数量的上限。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly

workers设置为2时，代码可以正常运行。

当workers设置为4时，出现RuntimeError:unable to find a valid cuDNN algorithm to convolution这个问题，到网上搜说是cudnn和cuda不匹配，但我下载安装的时候两个版本是匹配的。

当workers设置为8时，出现RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly。

或者出现这个问题的时候：[WinError 1455] 页面文件太小，无法完成操作。

都可以尝试去更改相应虚拟空间的虚拟内存。
在电脑的高级系统设置 ->
在这里插入图片描述选择虚拟内存的更改，出现如下界面。

虚拟内存的最定义的最大值设置的越大，workers就可以设置的越大。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Atopos_

关注关注

10
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

RuntimeError: DataLoader worker (pid(s) 8548, 6916) exited unexpectedly

VegetableofDog的博客

05-12

9438

深度学习，Lenet函数的实现，神经网络，

【Bug】Pytorch RuntimeError: DataLoader worker (pid(s) 15904) exited unexpectedly

集电极

08-05

1444

这是由于多线程加载数据使用不当使用的错误，因此可以设置为单线程即可，num_workers 不设置或设置为。意思是，这是运行时错误，是由于在主进程完成初始化之前试图启动了新的进程导致的错误。将涉及dataloader 的代码放置在。在使用 PyTorch 的。下运行，修改代码如下。

参与评论您还未登录，请先登录后发表或查看评论

RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly

01-06

原文地址分类目录——Pytorch 关键词： Data.DataLoader、num_workers、batch Pytorch在开进行小批量数据下降时开多进程报错报错内容 RuntimeError: DataLoader worker (pid(s) 9528, 8320) exited unexpectedly 去网上搜教程，说是在loader定义的时候多进程的参数指定的问题，我的loader定义如下 loader = Data.DataLoader( dataset=torch_dataset, # torch TensorDataset format ba

pytorch报错RuntimeError: DataLoader worker (pid(s) xxx) exited unexpectedly

weixin_36670529的博客

03-07

1万+

报错 pytorch报错RuntimeError: DataLoader worker (pid(s) ... exited unexpectedly 解决因为torch.utils.data.DataLoader中设置了num_works=4，也就是多线程读取。根据其他方法，我设置num_works=1或者num_works=0都不行。最后重装了pytorch，就可以了。 pip install torch==1.5.1+cu101 torchvision==0.6.1+cu101 -

报错 RuntimeError: DataLoader worker (pid(s) 1240, 4312, 2124, 4716) exited unexpectedly

最新发布

m0_50246514的博客

10-21

874

问题出现的原因可能是线程出现死锁，导致出现报错，一般的修改办法是把dataload中的num_workers设置为0，可以参考上述链接。找不到的友友可以查找 get_dataloader_workers ，记得去 troch.py 文件的 def 函数中。修改内容为：（只需要替这个函数的return部分）具体的位置如下：（我的文件中）

RuntimeError: DataLoader worker (pid(s) 6600, 6601) exited unexpectedly

qq_40212975的博客

03-24

5612

跑pytorch代码image_caption_gan的时候遇到： RuntimeError: DataLoader worker (pid(s) 6600, 6601) exited unexpectedly 这里一般都是num_worker的问题我这里的num_worker=2 此时，我把num_worker的值改为0，就可以了。 DataLoader的函数定义如下： DataLoad...

RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly

weixin_44575717的博客

02-18

3742

RuntimeError: DataLoader worker (pid(s) 17016, 18312) exited unexpectedly

报错：RuntimeError: DataLoader worker (pid(s) 10188) exited unexpectedly

qq_49785839的博客

03-21

2110

Pytorch 报错：RuntimeError: DataLoader worker (pid(s) 2420, 11236, 7252, 3104) exited unexpectedly 并没有显示出是哪一行代码出错，但是根据提示中的DataLoader worker可知是多线程的问题，对应到代码中应该就是下图这里： num_workers = 4 train_iter = torch.utils.data.DataLoader(mnist_train, batch_size=batch_siz

RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly

AnneMOMO's Blog

11-20

1043

@Pytorch| RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly RuntimeError: DataLoader worker (pid(s) 29167) exited unexpectedly 使用pytorch多线程进行测试时，出现上述问题，我的环境是pytorch+anaconda+pycharm；出现这种问题的可能原因：cuda 虚拟环境的共享内存不足解决办法： 1、改成更小的batchsize； 2、在

RuntimeError: DataLoader worker (pid(s) 6700, 10620) exited unexpectedly

weixin_44012667的博客

09-28

639

Pytorch中Dataloader踩坑：RuntimeError: DataLoader worker (pid(s) 6700, 10620) exited unexpectedly_pytorch dataloader runtimeerror: dataloader worker-优快云博客。

PyTorch DataLoader 报错 “DataLoader worker exited unexpectedly“ 的解决方案

枯木何日可逢春

08-21

5697

PyTorch DataLoader 报错 "DataLoader worker exited unexpectedly" 的解决方案

成功解决：RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly

AI从入门到实践的博客

09-29

1959

跑着跑着出现Bug:RuntimeError: DataLoader worker (pid(s) x’x’x’x) exited unexpectedly。

RuntimeError: DataLoader worker (pid(s) xxxx,xxxx ) exited unexpectedly

ODALEX的博客

04-15

6418

RuntimeError: DataLoader worker (pid(s) xxxx,xxxx ) exited unexpectedly（运行时错误：DataLoader工作进程(pid(s)xxxx,xxxx意外退出）运行时错误：DataLoader工作进程(PID)xxxx,xxxx意外退出欢迎使用Markdown编辑器在win10上运行超分辨率DRN算法里面的main.py文件其代码如下 import utility import data import model import loss

[解决方案] pytorch中RuntimeError: DataLoader worker (pid(s) 27292) exited unexpectedly

热门推荐

qq_41685265的博客

08-08

1万+

在运行代码前边加上： if __name__ == '__main__': 就可以了

沐神代码 DataLoader worker (pid(s) 23468, 25112, 11228) exited unexpectedly)错误

weixin_49327481的博客

03-20

1026

@[TOC](DataLoader worker (pid(s) 23468, 25112, 11228) exited unexpectedly) 沐神的课中出现这样的错误提示，表示电脑多线程处理时候发生错误，将对应的num_workers设置为0即可解决。可将文件d2l目录下的utils文件和torch文件中所有load_data_fashion_mnist函数中data.DataLoader的参数num_workers设置为0。 ...

DataLoader worker (pid(s) 13424) exited unexpectedly “nll_loss_forward_reduce_cuda_kernel_2d_index“

weixin_64546620的博客

07-30

1725

DataLoader worker (pid(s) 13424) exited unexpectedly "nll_loss_forward_reduce_cuda_kernel_2d_index" not implemented for 'Int' invalid literal for int() with base 10: 'Test\\94' 三个问题的解决

解决《动手学深度学习》6.6报错RuntimeError: DataLoader worker (pid(s) XXX) exited unexpectedly

REBACCAASIA的博客

04-07

854

查询发现是系统内存不足，设置虚拟内存可以解决问题，于是把D盘（conda安装位置）虚拟内存设置为8000M，重启后再次运行，解决以上两个报错。[WinError 1455] 页面文件太小,无法完成操作。PS：一开始设置的是10000M，但VScode卡死了QwQ。查询是多线程运行时出现错误，但网上所有方式都解决不了。

RuntimeError: DataLoader worker (pid(s) 98784) exited unexpectedly

weixin_44012667的博客

05-22

1125

【问题解决】pytorch: RuntimeError: DataLoader worker (pid(s) 27292) exited unexpectedly_runtimeerror: dataloader worker (pid(s) 25676, 116-优快云博客。Pytorch dataloader 错误 “DataLoader worker (pid xxx) is killed by signal” 解决方法_dataloader worker is killed-优快云博客。

RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly

08-15

根据引用中提供的方法，解决RuntimeError: DataLoader worker (pid(s) 15912) exited unexpectedly的方法是进行以下操作： 1. 根据引用的提示，找到相关代码的位置，并将函数体里的代码修改为黄线的语句： ```...