使用pytorch分布式进行训练的时候发生的错误

最新推荐文章于 2025-06-19 21:10:42 发布
原创 最新推荐文章于 2025-06-19 21:10:42 发布 · 4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #分布式 #python

在尝试利用PyTorch进行分布式训练的过程中，遇到了未知错误。博主详细记录了这一问题，以便后续分析和寻找解决方案。

在进行分布式训练的时候遇到这个错，不知道怎么解决，先记录一下


Traceback (most recent call last):
  File "my_train.py", line 194, in <module>
    main(parser.parse_args())
  File "my_train.py", line 75, in main
    backbone = torch.nn.parallel.DistributedDataParallel(
  File "/root/.virtualenvs/torchenv/lib/python3.8/site-packages/torch/nn/parallel/distributed.py", line
最低0.47元/天 解锁文章
leonardee
关注
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
科研学习笔记！
06-26 1万+
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
【分布式】Pytorch在多GPU环境的分布式训练中常见问题汇总
若北辰
06-25 719
分布式训练涉及在多个计算单元上并行地训练深度学习模型。在多 GPU 环境中，这通常意味着模型的训练过程被分散到多个 GPU 上，以加速训练过程并处理更大的数据集。PyTorch 提供了多种工具和库来支持分布式训练，如(DDP) 等。
报错：torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
2301_77554343的博客
03-26 1万+
torch.distributed.elastic.multiprocessing.errors.ChildFailedError: 这个主要是torch的gpu版本和cuda不适配。但是我发现下这个也不行，就降低了一个小版本，但还是cu118 就OK了。附个地址，可以去寻找对应的gpu版本torch。一定要cu版本和nvcc 的版本相对应！我的nvcc -V是11.8。
错误：ERROR:torch.distributed.elastic.multiprocessing.api:failed
HJ_blog
11-15 1万+
在多卡运行时，会出现错误（ERROR:torch.distributed.elastic.multiprocessing.api:failed），但是单卡运行并不会报错，通常在反向梯度传播时多卡梯度不同步。但我是在多卡处理数据进行tokenizer阶段报错，这竟然也会出错，还没涉及到训练，有点不明所以。
torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
lwj0824的博客
09-13 3万+
并行训练error
torch.distributed.elastic.multiprocessing.errors.ChildFailedError
yyz2080的博客
01-17 4238
修改finetune_qlora_ds.sh，设置GPUS_PER_NODE与可使用GPU数相同。
raise ChildFailedError(torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
qq_45175818的博客
08-03 1120
【代码】 raise ChildFailedError(torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
Pytorch分布式训练
qq_45562973的博客
07-15 579
首先DistributedDataParallel是能够实现多机多卡训练的，但考虑到大部分的用户并没有多机多卡的环境，本篇博文主要介绍单机多卡的用法。简单来说，DataParallel有一个参数服务器的概念，参数服务器所在线程会接受其他线程传回来的梯度与参数，整合后进行参数更新，再将更新后的参数发回给其他线程，这里有一个单对多的双向传输。像下面一样加一个判断即可，这里的get_rank()得到的是进程的标识，所以输出操作只会在进程0中执行。下面给出一个非常精简的单机多卡示例，分为六步实现单机多卡训练。...
Pytorch 分布式训练DDP(torch.distributed)详解-原理-代码
weixin_42503655的博客
01-12 9979
Pytorch 分布式训练-原理-代码
记录使用Pytorch分布式训练（torch.distributed）踩过的坑
abbcdc的博客
05-31 2432
记录使用Pytorch分布式训练时踩过的坑。
【解决】pytorch单机多卡问题：ERROR: torch.distributed.elastic.multiprocessing.api:failed
热门推荐
傲笑风的博客
09-16 7万+
最近在使用单机多卡进行分布式（DDP）训练时遇到一个错误：ERROR: torch.distributed.elastic.multiprocessing.api:failed。 而实际报错的内容是：ValueError: sampler option is mutually exclusive with shuffle.
BUG--torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
cfy2401926342的博客
02-05 416
【代码】BUG--torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
【PyTorch】torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
AustinCyy的博客
12-03 4284
报错如图所示。
多卡解决报错torch.distributed.elastic.multiprocessing.errors.ChildFailedError的问题
QHCV的博客
06-19 1980
PyTorch多卡运行时出现SIGSEGV错误（exitcode: -11）的解决办法 错误通常由CUDA与PyTorch版本不匹配导致。解决步骤： 检查当前CUDA版本： import torch print(torch.cuda.is_available()) print(torch.version.cuda) # 输出CUDA版本 访问PyTorch历史版本页面（https://pytorch.org/get-started/previous-versions/），根据CUDA版本选择对应安装命令。
【异常错误】torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
Drug discovery
07-14 1万+
昨天运行的时候总是出现这个错误意思就是子线程有错误，但是却不报错，debug半天后是“”这一行出错了，但是我把这行代码单独放在一个新建的项目的py文件，然后运行没有错误，真是服了，改天了一天也没弄好。
YOLOv8修改了网络结构后，多卡训练报错：torch.distributed.elastic.multiprocessing.errors.ChildFailedError
记录我目之所及的世界
12-25 1738
YOLOv8修改了网络结构后，多卡训练报错：torch.distributed.elastic.multiprocessing.errors.ChildFailedError
【PyTorch】分布式训练报错记录-ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1)
m0_47623548的博客
09-02 1万+
分布式训练报错记录-ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) 学习率相关，模型稳定性
PyTorch分布式训练中常见的错误有哪些及其解决方法？
最新发布
06-28
### PyTorch分布式训练中常见的错误及其解决方法 在PyTorch的分布式训练过程中，由于网络配置、资源分配或代码实现不当，可能导致多种常见错误。以下列举了几个典型问题及对应的解决方案。 #### 1. **连接失败...
评论 12
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值