MMSeg错误：RuntimeError: Default process group has not been initialized

there2belief

已于 2022-06-09 19:13:12 修改

阅读量6.3k

点赞数 13

分类专栏：掉过的坑 AI/ML/DL 文章标签： MMSeg

于 2022-03-21 17:01:09 首次发布

原文链接：https://blog.youkuaiyun.com/qq_33854260/article/details/120409511

版权

AI/ML/DL 同时被 2 个专栏收录

254 篇文章

订阅专栏

掉过的坑

98 篇文章

订阅专栏

本文介绍了在使用mmSegmentation框架进行多卡训练时遇到的RuntimeError，焦点在于如何修复卷积模块中SyncBN初始化问题。作者提到，切换到单卡训练时，需将norm_cfg的type从'SyncBN'改为'BN'，并提供了相关代码示例作为解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在使用mmSegmentation框架时遇到的问题：

File "C:\software\Anaconda3\envs\python36\lib\site-packages\torch\distributed\distributed_c10d.py", line 347, in _get_default_group
    raise RuntimeError("Default process group has not been initialized, "
RuntimeError: Default process group has not been initialized, please make sure to call init_process_group.

经调试定位，发现是一个卷积模块的normalization出现了问题：

 self.linear_fuse = ConvModule(
            in_channels=embedding_dim*4,
            out_channels=embedding_dim,
            kernel_size=1,
            norm_cfg=dict(type='SyncBN', requires_grad=True)
          
        )

这里的norm_cfg中，如果是多卡训练，采用“SyncBN”; 如果是单卡训练，将type修改为'BN'即可。
————————————————
来源：https://blog.youkuaiyun.com/qq_33854260/article/details/120409511