【BrokenPipeError: [Errno 32] Broken pipe】的解决方案

项目场景

调试 GitHub项目bddoia_project【Explainable Object-induced Action Decision for Autonomous Vehicles论文代码】项目地址

---

问题描述

调试 GitHub项目bddoia_project，训练模型时出现BrokenPipeError: [Errno 32] Broken pipe。

问题代码

dataloader = DataLoader(Dataset, batch_size=int(args.batch_size), num_workers=24, shuffle=False)

---

原因分析

Windows下多线程的问题，和DataLoader类有关。num_workers参数官方API解释：num_workers (int, optional) – how many subprocesses to use for data loading. 0 means that the data will be loaded in the main process. (default: 0)

该参数是指在进行数据集加载时，启用的线程数目。num_workers参数必须大于等于0，0的话表示数据集加载在主进程中进行，大于0表示通过多个进程来提升数据集加载速度。

---

解决方案

修改调用torch.utils.data.DataLoader()函数时的 num_workers参数，将num_works参数修改为 0，只启用一个主进程加载数据集，避免在Windows使用多线程即可。

参考

https://blog.youkuaiyun.com/u014380165/article/details/79058479

End.