[Pytorch]DistributedDataParallel(DDP)报错 [enforce fail at inline_container.cc:145]和[222]

原创于 2021-10-31 14:10:05 发布 · 1.8k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #机器学习

pytorch 专栏收录该内容

18 篇文章

订阅专栏

博客主要讨论了在并行化工作中遇到的RuntimeError，包括[enforcefailatinline_container.cc:222]和[enforcefailatinline_container.cc:145]两个错误。错误产生的主要原因有两个：一是随机种子未统一，通过调整随机数种子设置解决了该问题；二是由于代码改动后忘记添加rank判定，导致模型重复保存，修复这一低级错误后问题得到解决。

最近的并行化工作中,报错RuntimeError: [enforce fail at inline_container.cc:222]和 [enforce fail at inline_container.cc:145].

经查,主要原因如下:

1. 随机种子未统一:
	根据手册,模型参数的seed只看主卡即可,按道理来说是会boradcast的.
	但事实上,就是如此,推测是因为使用了一个非stable的新函数.
	统一了随机数种子之后解决问题.

2. 重复保存
	低级错误,改动代码之后忘记作rank的判定.
	增加rank的判定后,使模型只保存一次,解决问题.