RuntimeError: Default process group has not been initialized, please make sure to call init_process_

原创 已于 2024-10-28 20:19:50 修改 · 789 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

于 2024-10-28 17:16:57 首次发布
部署运行你感兴趣的模型镜像

运行BEiT相关代码，出现没有init_process错误，但确实各个组件都init了。

一开始以为是没有torch.distributed.init_process_group()，加上代码以后仍报错。查资料发现是多进程在1GPU上运行时，model中的nn.SyncBatchNorm不能正常运行，把nn.SyncBatchNorm改成nn.BatchNorm2d就可以了。

转自：https://github.com/czczup/ViT-Adapter/issues/30

您可能感兴趣的与本文相关的镜像

PyTorch 2.8

PyTorch 2.8

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

目标检测:swin-transformer跑通自己的数据集
rookie的博客
06-06 2982
使用swin-transformer训练自己的数据集
cbnet环境配置和运行中遇到的问题
梦想是要有的，万一实现了呢！
05-25 3564
File "/home/snnu/miniconda3/envs/cbswin/lib/python3.8/site-packages/torch/distributed/distributed_c10d.py", line 263, in _get_group_size default_pg = _get_default_group() File "/home/snnu/miniconda3/envs/cbswin/lib/python3.8/site-packages/torch/dis...
Default process group has not been initialized, please make sure to call init_process_group.
qq_39483052的博客
10-16 2086
mmaction中的r2plus1d模型报错：Default process group has not been initialized, please make sure to call init_process_group. 在mmaction2-master/configs/base/models/r2plus1d_r34.py中，将norm_cfg=dict(type=‘SyncBN’, requires_grad=True, eps=1e-3)替换成norm_cfg=dict(type=‘BN3
pycahrm报错RuntimeError: Default process group has not been initialized, please make sure to call init_process_group.
07-20
PyTorch中的`RuntimeError: Default process group has not been initialized`这个错误通常发生在分布式训练（Distributed Data Parallel, DDP）过程中，当你试图使用torch.distributed包的功能（如数据并行、模型...
使用tune.run( 报错RuntimeError: Default process group has not been initialized, please make sure to call init_process_group.
最新发布
06-18
在使用 `tune.run` 进行分布式训练时遇到 `RuntimeError: Default process group has not been initialized` 错误，根本原因是 PyTorch 分布式环境未正确初始化。以下是系统性的解决方案： --- #### **1. 手动初始...
RuntimeError: Default process group has not been initialized, please make sure to call init_process_group
08-11
为了解决这个问题，你需要在使用分布式训练或多进程之前调用 `torch.distributed.init_process_group()` 函数来初始化默认的进程组。 你可以在代码的开头或在创建进程之前添加如下代码： ```python import torch....
如何解决RuntimeError: Default process group has not been initialized, please make sure to call init_process_group.
04-25
这错误是由于没有初始化PyTorch...dist.init_process_group(backend="nccl") ``` 其中，“backend”参数可以根据您使用的分布式框架进行调整。另外，还可以添加其他参数来配置分布式训练，例如rank和world_size等。
多种尝试解决此报错问题：Default process group has not been initialized, please make sure to call init_process.
小蛙的博客
02-22 3947
当出现以上问题多次尝试无果的情况下，请仔细检查代码，是否出现不合理的地方，例如backward()位置，eg:代码如下。：backward()是计算损失函数对模型参数的梯度,实现反向传播算法，通常在loss计算之后。的代码注释掉,如下所示。
只有单卡训练出现: Default process group has not been initialized, please make sure to call init_process.
ZLInbao的博客
08-22 5072
在出现报错的语句前加上。
detectron2报错解决方案 RuntimeError: Default process group has not been initialized, please make sure to c
Majesty__的博客
02-25 5902
windows环境使用detectron2 github503问题，解决方案
RuntimeError: Default process group has not been initialized,please make sure to call init_process_g
qq_46024883的博客
06-08 5637
一直报错RuntimeError: Default process group has not been initialized,please make sure to call init_process_group.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值