「已解决」使用DDP多卡训练在All distributed processes registered. Starting with 8 processes卡死

最新推荐文章于 2024-12-07 15:46:52 发布
原创 最新推荐文章于 2024-12-07 15:46:52 发布 · 1.1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch

文章探讨了如何使用DDP进行多GPU训练时遇到的问题，尤其是在设置distributed_backend为nccl时。提供了通过设置环境变量NCCL_P2P_DISABLE为1来解决卡顿的解决方法。
部署运行你感兴趣的模型镜像

使用DDP进行多卡加速训练，卡在以下位置：

----------------------------------------------------------------------------------------------------
distributed_backend=nccl
All distributed processes registered. Starting with 8 processes
----------------------------------------------------------------------------------------------------

解决方法

export NCCL_P2P_DISABLE=1

您可能感兴趣的与本文相关的镜像

Wan2.2-I2V-A14B

Wan2.2-I2V-A14B

图生视频
Wan2.2

Wan2.2是由通义万相开源高效文本到视频生成模型，是有​50亿参数的轻量级视频生成模型，专为快速内容创作优化。支持480P视频生成，具备优秀的时序连贯性和运动推理能力

Ceder1c
关注
pytorch 1.7.0 torchvision 0.8.1 torch.cuda.amp gradscaler DDP 训练卡死
Hello Word!
05-08 1350
报错：pytorch DDP 模型卡住 代码 # 具体卡住的代码 yolov5训练代码 train.py 中有一句： scaler.step(optimizer) # optimizer.step 程序运行到第二个epoch的时候，卡住了， 具体卡在调用语句： /home/xxx/lib/python3.7/site-packages/torch/cuda/amp/grad_scaler.py 中的 if not sum(v.item() for v
yolov8 ultralytics库实现多机多卡DDP训练
weixin_42357472的博客
05-27 2577
用的https://universe.roboflow.com/deneme-yz/sigara-deneme/dataset/2 数据集进行训练的。
pytorch-lightning多卡训练中途卡死，GPU利用率100%
qq_52423671的博客
04-12 3438
使用torch1.7.1+cuda101和pytorch-lightning==1.2进行多卡训练，模式为'ddp'，中途会出现训练无法进行的问题。发现是版本问题，升级为pytorch-lightning==1.5.10问题解除。在pip安装过程中会卸载掉我的torch，指定版本也没用，解决方式是等安装pytorch-lightning结束后再把torch版本换回来。
DDP训练Pytorch模型，训练卡死，NCCL通信失败
weixin_45095712的博客
12-07 2761
DDP训练Pytorch模型，训练卡死，NCCL通信失败
(已解决)Ubuntu多显卡训练模型时程序卡死：torch torch 奈若何
行步至春深
09-26 3469
根因是cuda和pytorch的版本不匹配~经过这次最大的收获是理解了channel并学会了下载下安装包conda install --use-local 的安装方式
分布式训练 - 多机多卡 (DDP)
热门推荐
love1005lin的博客
05-06 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在前边的文章中已经提到了怎样进行单机单卡和单机多卡进行分布式训练，那可能有小伙伴会有疑问能不能进行多
#Pytorch 使用DDP训练第一轮，验证后第二轮卡住
往深度学习的深度广度冲！
01-19 2518
问题：在使用DDP分布式训练的时候，在第一轮训练后验证结果，在第二轮开始时就卡住了。，所以只有第一个GPU跑了验证，在第二轮时只有第一个GPU的模型在，其他卡的模型都被阻塞住了。解决方法：在验证时不要使用。，这样就可以顺利运行了。
Pytorch 分布式并行DDP 卡死 挂起
qq_40947610的博客
11-30 1万+
Pytorch 分布式并行DDP 卡死，设置NCCL_P2P_DISABLE=1禁用GPU之间直接通信即可解决。
多卡运行分布式训练卡死 nccl_p2p_disable iommu=pt
hknaruto的专栏
01-17 1297
多卡运行分布式训练卡死 - 知乎
ddp 多卡训练torch 记录
andy dennis的博客
07-13 1674
之前一直拿别人的开源代码改，最近需要自己从头写，实验需要多卡训练，于是就记录一下。
分布式多卡训练(DDP)踩坑
m0_55411900的博客
11-22 2648
多卡训练最近在跑yolov10版本的RT-DETR，用来进行目标检测。多卡训练语句：需要通过torch..launch来启动，一般是单节点，其中CUDA_VISIBLE_DEVICES设置用的显卡编号，也可以不用，直接在main.py里面指定device也行，--nproc_pre_node 每个节点的显卡数量。但是运行多卡训练之后，会报错，有的时候训练进程会卡住。错误信息如下，发生了runtimerror看不懂的话，用翻译软件翻译一下运行时错误：预计在开始新迭代之前已完成前一次迭代的减少。
精选资源
Resnet实战：单机多卡DDP方式、混合精度训练
04-15
本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，模型使用最经典的resnet50，演示如何实现混合精度训练以及如何使用DDP的方式实现多卡并行训练。 通过本文你和学到： 1、如何使用混合精度训练...
Pytorch DDP分布式数据合并通信 torch.distributed.all_gather()
flyingluohaipeng的博客
02-21 1万+
torch.distributed.all_gather() 官网链接tensor_list每个元素代表每个rank的数据，tensor代表每个进程中的tensor数据，其中tensor_list每个分量的维度要与对应的tensor参数中每个rank的维度相同。
pytorch多卡分布式训练卡住的问题
剑启郁兰的博客
04-28 2895
最近需要模型进行多任务学习，完成代码后单卡跑是没有问题的。但是多卡跑基本上会出现卡在第一个迭代的情况。忙了一天总算是解决了。实际上，尝试了很多种方案，最后发现问题出现在这里。这部分内容具体参考如下。我的模型不执行前者，因而我是把这部分给删了，从而解决。知道原因，解答方案也比较明了，
Pytorch单机多卡训练时的坑
qq_41234663的博客
10-17 2230
对于初学者来说，Pytorch单机多卡训练时可能遇见的坑
【踩坑日记14】用accelerater实现单机多卡运行程序时，程序卡死。
longii11的博客
04-10 1438
调试程序，看看程序在哪一个语句中卡死。表示使用的线程数（卡数），我要使用单机多卡，所以。程序跑动了，但在某一处又卡住了。（n为所需要的卡数）。表示使用的机器数目，
【分布式训练】Accelerate 多卡训练，单卡评测，进程卡住的解决办法
凤凰于飞
08-02 2504
【我是自己写的评测方法，但是我找不到能让触发Trainer去用我的方法评测的路劲】，后来偶然的机会知道了accelerate库，这个库没有Trainer那么高级抽象，正适合我。于是我开始写print 观察这几个进程在哪里停住了，删掉评测部分看能不能正常运行（结果正常运行了），后来最终定位出了原因：只要在评测部分使用模型，例如 model(**input)就会在评测结束后卡住，评测的过程倒很正常。但是因为我这个项目的特殊性，我决定不多卡评测，也没必要，因为之前单卡评测就两分钟就出结果了。
torch 多进程卡死
jacke121的专栏
07-04 9318
torch训练卡死，后来发现是DataLoader卡死，原因是enumerate参数不对，dataloader = DataLoader(COCODataset(config["train_path"], (config["img_w"], config["img_h"]), ...
A100单机多卡大模型训练踩坑记录（CUDA环境、多GPU卡住且显存100%）
木尧大兄弟
04-28 1万+
大模型A100单机多卡训练踩坑记录
多卡训练报错torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
最新发布
10-12
针对多卡训练中出现的 `torch.distributed.elastic.multiprocessing.errors.ChildFailedError` 错误，综合引用信息和常见解决方案，以下是系统性的排查指南： ### 一、核心原因分析 该错误表明**分布式训练的子进程...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值