AssertionError: Default process group is not initialized

最新推荐文章于 2024-11-08 11:59:28 发布

原创最新推荐文章于 2024-11-08 11:59:28 发布 · 1.4k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #numpy #python

pytorch 同时被 2 个专栏收录

97 篇文章

订阅专栏

python

95 篇文章

订阅专栏

本文介绍了一种解决在使用单张显卡进行模型训练时遇到的问题的方法。通过在训练脚本开头引入特定的分布式初始化代码，可以有效避免该问题的发生。

出现上述问题，是因为我是单卡，双卡的分布形式就不会出现该问题，为此，只需要tool/train.py开头加入如下语句即可：

import torch.distributed as dist
dist.init_process_group('gloo', init_method='file:///tmp/somefile', rank=0, world_size=1)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zouxiaolv

关注关注

4
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

pytorch Default process group is not initialized

jacke121的专栏

06-27

2875

pytorch Default process group is not initialized

【Debug记录】AssertionError: Default process group is not initialized

Roaddd的博客

12-12

933

AssertionError: Default process group is not initialized

参与评论您还未登录，请先登录后发表或查看评论

Pytorch运行模型时报错总结

weixin_43148369的博客

03-30

1521

Default process group is not initialized 在使用分布式的文件里 import torch.distributed as dist 后加上下面的语句，或者在报错的地方前面加上这句。 dist.init_process_group('gloo', init_method='file:///tmp/somefile', rank=0, world_size=1) ...

pytorch-mmsegmentation train时遇到AssertionError:Default process group is not initialized

m0_37568067的博客

11-18

9260

问题原因：非分布式训练使用了分布式训练的设置两种解决办法： 1、在tools/train.py 中加入 import torch.distributed as dist dist.init_process_group('gloo', init_method='file:///temp/somefile', rank=0, world_size=1) 2、在configs/_base_/models 的文件中，首行norm_cfg = dict(type='SyncBN', requires_gr

assertionerror: default process group is not initialized

06-28

它通常意味着你尝试在一个未初始化的进程组中使用某个功能，因此Python引发了一个“AssertionError”异常。要解决这个问题，你需要先确保已经正确地初始化了进程组。你可以使用Python的multiprocessing模块来创建...

AssertionError: weight model.layers.0.self_attn.q_proj.weight does not exist

最新发布

sqlora的专栏

11-08

1937

通义千问2.5-7B-Instruct-AWQ量化，但在npu上运行报上面错误，奇怪?： Exception:weight model.layers.0.self_attn.q_proj.weight does not exist AssertionError: weight model.layers.0.self_attn.q_proj.weight does not exist https://www.modelscope.cn/models/Qwen/Qwen2.5-7B-Instruc

pytorch分布式报错AssertionError: Default process group is not initialized

qq_40373651的博客

07-17

9760

pytorch分布式报错AssertionError: Default process group is not initialized 在pytorch中分布式中，dist.barrier()中报错AssertionError: Default process group is not initialized。可以尝试： import torch.distributed as dist dist.init_process_group('gloo', init_method='file:///tmp/so

RuntimeError: Default process group has not been initialized, please make sure to call init_process_

鸡酱的博客

06-20

1万+

config中的evaluation使用的是作者写的hook，继承了分布式DistEvalHook，需要手动初始化init_process_group。：单卡运行MMdetection ConsistentTeacher时，train正常但是val出现如下错误。：在ssod/utils/hooks/submodules_evaluation.py中加入如下代码。如有问题，欢迎评论文明讨论。

Default process group has not been initialized, please make sure to call init_process_group.