data = self._data_queue.get(timeout=timeout)RuntimeError: DataLoader worker (pid(s) 8528, 8488) exit

最新推荐文章于 2024-01-17 07:27:05 发布

Suppose-dilemma

最新推荐文章于 2024-01-17 07:27:05 发布

阅读量1.1k

点赞数 1

分类专栏： Error 文章标签： python pytorch

本文链接：https://blog.youkuaiyun.com/ifhuke/article/details/132731060

版权

Error 专栏收录该内容

3 篇文章

订阅专栏

本文聚焦Windows环境下运行Yolov5代码时，多线程取出数据报错问题。分析指出报错原因是Windows与Linux系统差异，Windows缺乏fork()系统调用，使用spawn命令有额外限制，忽略主模块安全导入要求导致报错。给出解决方法，在主函数第一行添加代码区分主进程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错输出

我在Windows环境下，运行Yolov5的代码时，代码中多线程取出数据出现了以下的错误：

RuntimeError: 
        An attempt has been made to start a new process before the
        current process has finished its bootstrapping phase.

        This probably means that you are not using fork to start your
        child processes and you have forgotten to use the proper idiom
        in the main module:

            if __name__ == '__main__':
                freeze_support()
                ...

        The "freeze_support()" line can be omitted if the program
        is not going to be frozen to produce an executable.
Traceback (most recent call last):
  File "D:\Software\Anaconda\envs\pytorch\lib\site-packages\torch\utils\data\dataloader.py", line 761, in _try_get_data
    data = self._data_queue.get(timeout=timeout)
  File "D:\Software\Anaconda\envs\pytorch\lib\multiprocessing\queues.py", line 105, in get
    raise Empty
_queue.Empty

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "D:/WorkSpace/Codes/Pycharm/2020/NPyTorch/Minibatchtraing.py", line 24, in <module>
    for step, (batch_x, batch_y) in enumerate(loader):
  File "D:\Software\Anaconda\envs\pytorch\lib\site-packages\torch\utils\data\dataloader.py", line 345, in __next__
    data = self._next_data()
  File "D:\Software\Anaconda\envs\pytorch\lib\site-packages\torch\utils\data\dataloader.py", line 841, in _next_data
    idx, data = self._get_data()
  File "D:\Software\Anaconda\envs\pytorch\lib\site-packages\torch\utils\data\dataloader.py", line 808, in _get_data
    success, data = self._try_get_data()
  File "D:\Software\Anaconda\envs\pytorch\lib\site-packages\torch\utils\data\dataloader.py", line 774, in _try_get_data
    raise RuntimeError('DataLoader worker (pid(s) {}) exited unexpectedly'.format(pids_str))
RuntimeError: DataLoader worker (pid(s) 8528, 8488) exited unexpectedly

可以发现，上面的DataLoader有两个PID 8528, 8488，表示其有两个进程，而两个进程报错，则说明多进程的设置有问题。

出错原因

上述错误的提示含义为：您试图在当前进程完成引导阶段之前启动新进程。这可能意味着您没有使用fork来启动子进程，并且忘记了在主模块中使用适当的习语。还有一种情况是，如果您的程序不会被冻结为生成Windows可执行文件，则可以省略 “freeze_support()” 行。

其实真正原因的出现还是Windows操作系统与Linux操作系统的差异。

在Linux操作系统中，其提供了一个fork()系统调用，用于创建子进程，有了fork调用，一个进程在接到新任务时就可以复制出一个子进程来处理新任务，常见的Apache服务器就是由父进程监听端口，每当有新的http请求时，就fork出子进程来处理新的http请求。

但是，Windows中是并没有fork()系统调用的，是使用的 spawn 命令，那该怎么办呢？

multiprocessing模块本来就是跨平台版本的多进程模块，其设计的时候就考虑到了Linux和Windows操作系统的差异，但因为Windows缺乏linix那种fork, 所以它会有一些额外的限制:

不管是绑定还是未绑定的方法, 都不要直接作为参数传给Process初始化的target, 相反应该要用普通的函数代替
子进程在访问全局变量时, 可能会与父进程的值不同 ( 模块级别的常量没这问题 )
开启新Python解析器或者创建新process时, 确定主模块能够安全的导入.

这也就解释了为什么Windows下使用多进程模块 multiprocessing 必须要有主函数存在了，因为 spawn命令需要区分主进程，上述的报错其实就是忽略了第三点的要求。

解决方法

要解决上面的错误也很简单，在主函数 if __name__ == '__main__': 的第一行加上 multiprocessing.freeze_support() ，使得主进程能够得到区分，这里我是运行Yolov5的代码出错的，我就用其主函数来演示，其修改如下：

import multiprocessing


"""
其他代码
"""

if __name__ == "__main__":
    multiprocessing.freeze_support()
    opt = parse_opt()
    main(opt)