pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....

已于 2023-07-25 19:41:40 修改
阅读量1.4w 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Machine & Deep Learning 文章标签： 深度学习 python 人工智能 ubuntu
于 2023-06-26 14:08:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiangyong58/article/details/131395234
博客分析了PyTorch训练过程中遇到的三个主要问题：1. Loss变为NaN，可能导致训练停止；2. CPU内存不足；3. 模型参数未用于损失计算。解决方案包括检查和调整学习率、正常化数据、增加CPU内存、使用DistributedDataParallel并设置find_unused_parameters等。 
Epoch: [2]  [  0/195]  eta: 0:02:53  lr: 0.000126  loss: 2.2980
了解本专栏 订阅专栏 解锁全文 超级会员免费看
python安装torch时遇到 ERROR: Command errored out with exit status 1:
12-22
python安装torch时遇到 ERROR: Command errored out with exit status 1: 之前用pycharm运行github上一个模型时，遇到了import torch失败的问题，而且用pip安装失败。我根据网上的教程我的博客里有详细教程用Anaconda安装了torch，问题确实得到了解决，torch安装成功。紧接着再运行模型时就发现了更多的错误，研究了很久发现是之前安装的torch版本有问题。再用pip安装就出现了上面的错误。 看到出现了这么多乱七八糟的东西就很慌,找了一下午，终于找到了最终的解决方法： 查看自己的python版本 点开自己的pyc
torch.distributed.elastic.multiprocessing.api: [ERROR] failed (exitcode: -9)
weixin_50232758的博客
09-21 1830
考虑降低workers数量或者其他节省内存的方法。并未有其他提示信息，原因大概率是。
训练DiT报错ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank: 0
计算机视觉
11-27 1万+
运行Dit时，torchrun --nnodes=1 --nproc_per_node=8 train.py --model DiT-XL/2 --data-path /home/pansiyuan/jupyter/qianyu/data。此时是多卡计算看不到报错信息。
【PyTorch】分布式训练报错记录-ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1)
m0_47623548的博客
09-02 1万+
分布式训练报错记录-ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) 学习率相关，模型稳定性
错误：ERROR:torch.distributed.elastic.multiprocessing.api:failed
HJ_blog
11-15 1万+
在多卡运行时，会出现错误（ERROR:torch.distributed.elastic.multiprocessing.api:failed），但是单卡运行并不会报错，通常在反向梯度传播时多卡梯度不同步。但我是在多卡处理数据进行tokenizer阶段报错，这竟然也会出错，还没涉及到训练，有点不明所以。
【解决】pytorch单机多卡问题：ERROR: torch.distributed.elastic.multiprocessing.api:failed
热门推荐
傲笑风的博客
09-16 7万+
最近在使用单机多卡进行分布式（DDP）训练时遇到一个错误：ERROR: torch.distributed.elastic.multiprocessing.api:failed。 而实际报错的内容是：ValueError: sampler option is mutually exclusive with shuffle.
【已解决】RuntimeError: No CUDA GPUs are availableERROR:torch.distributed.elastic.multiprocessing.api:fa
BetrayFree的博客
04-19 3889
0为服务器中的GPU编号，可以为0, 1, 2, 3等，表明对程序可见的GPU编号。1. 命令：CUDA_VISIBLE_DEVICES=1 # 只有编号为1的GPU对程序是可见的，在代码中gpu[0]指的就是这块儿GPUCUDA_VISIBLE_DEVICES=0..._cuda_visible_devices。不过，很有意思的是，看的出来我这里面使用的是分布式计算，那我单机多GPU训练的时候，一个GPU上能跑几个进程呢？果然，我这机器里面只有2个GPU，但是呢，这里面的却是5，显然是没办法找到的！
ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 1 (pid: 878255)
最新发布
09-10
首先，用户的问题是关于一个特定的PyTorch错误：他们在使用分布式训练时遇到了错误，具体是 "ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 1 (pid: 878255)"。...
ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 0 (pid: 15504) of binary:
08-18
据引用中的描述，你遇到的错误是"ERROR: torch.distributed.elastic.multiprocessing.api:failed"。根据你提供的详细错误内容"ValueError: sampler option is mutually exclusive with shuffle"，这个错误是由于在...
ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 0 (pid: 1447037) of binary: /usr/bin/python
07-29
回答: 出现ERROR: torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank: 0 (pid: 1447037) of binary: /usr/bin/python错误的原因可能是由于参数设置不一致导致的。根据引用\[1\]中的...
torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
lwj0824的博客
09-13 3万+
并行训练error
ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 2) local_rank: 0 (pid: 35585)
qq_36955294的博客
12-08 1046
FutureWarning: The module torch.distributed.launch is deprecated and will be removed in future. Use torchrun. Note that --use_env is set by default in torchrun. If your script expects `--local_rank` argument to be set, please change it to read from `os.env
torch.distributed.elastic.multiprocessing.errors.ChildFailedError
yyz2080的博客
01-17 4246
修改finetune_qlora_ds.sh，设置GPUS_PER_NODE与可使用GPU数相同。
【异常错误】unrecognized arguments: --local-rank=1 ERROR:torch.distributed.elastic.multipr
Drug discovery
05-13 1750
由上图可以看出是–local_rank 与 --local-rank不一致导致的，追究原因，竟然是torch2.0版本launch.py里面写的全是–local-rank，而老版本的torch用的是–local_rank。所以将local_rank全改成local-rank即可。
使用pytorch分布式进行训练的时候发生的错误
u013157943的博客
05-25 4051
在进行分布式训练的时候遇到这个错，不知道怎么解决，先记录一下 Traceback (most recent call last): File "my_train.py", line 194, in <module> main(parser.parse_args()) File "my_train.py", line 75, in main backbone = torch.nn.parallel.DistributedDataParallel( File "/roo
多卡训练 自动关闭 torch.distributed.elastic.multiprocessiong.erroes.ChildFailedError
weixin_44376152的博客
03-03 378
可以关注任务管理器验证下。我这是 内存不足的问题。调小batchsize。
ERROR:torch.distributed.elastic.agent.server.local_elastic_agent:[default] Worker group failed
fanre的专栏
07-15 4714
单个GPU跑多GPU训练程序报的错误，解决方式就是os.environ['CUDA_VISIBLE_DEVICES']=[0,1]
多卡解决报错torch.distributed.elastic.multiprocessing.errors.ChildFailedError的问题
QHCV的博客
06-19 2045
PyTorch多卡运行时出现SIGSEGV错误（exitcode: -11）的解决办法 错误通常由CUDA与PyTorch版本不匹配导致。解决步骤： 检查当前CUDA版本： import torch print(torch.cuda.is_available()) print(torch.version.cuda) # 输出CUDA版本 访问PyTorch历史版本页面（https://pytorch.org/get-started/previous-versions/），根据CUDA版本选择对应安装命令。
工作任务2：字符串的各种常用操作。 字符串 Ss/ Optimization analysis on iteration process of complex product development based on uncertainty 技能目标 掌握iputo.into.bin0.octo.hex0等两数的 使用 掌握字符串的常用函数(）统计这个英文句子中单词的个数： (2）去掉所有的空格； （3）将字符串：中的所有小写字母转化 为大写字母 (4)求a'第一次出现的位置和最后一次 出现的位置。 （5）输出‘of’之后的内容。
05-30
1. 统计这个英文句子中单词的个数： ```python sentence = "Optimization analysis on iteration process of complex product development based on uncertainty" word_count = len(sentence.split()) print("单词个数为：", word_count) ``` 输出： ``` 单词个数为： 11 ``` 2. 去掉所有的空格： ```python sentence = "Optimization analysis on iteration process of complex product development based on uncertainty" no_space_sentence = sentence.replace(" ", "") print("去掉空格后的字符串为：", no_space_sentence) ``` 输出： ``` 去掉空格后的字符串为： Optimizationanalysisoniterationprocessofcomplexproductdevelopmentbasedonuncertainty ``` 3. 将字符串中的所有小写字母转化为大写字母： ```python sentence = "Optimization analysis on iteration process of complex product development based on uncertainty" upper_sentence = sentence.upper() print("大写字母字符串为：", upper_sentence) ``` 输出： ``` 大写字母字符串为： OPTIMIZATION ANALYSIS ON ITERATION PROCESS OF COMPLEX PRODUCT DEVELOPMENT BASED ON UNCERTAINTY ``` 4. 求'a'第一次出现的位置和最后一次出现的位置： ```python sentence = "Optimization analysis on iteration process of complex product development based on uncertainty" first_a = sentence.find("a") last_a = sentence.rfind("a") print("a第一次出现的位置为：", first_a) print("a最后一次出现的位置为：", last_a) ``` 输出： ``` a第一次出现的位置为： 1 a最后一次出现的位置为： 58 ``` 5. 输出'of'之后的内容： ```python sentence = "Optimization analysis on iteration process of complex product development based on uncertainty" index_of = sentence.index("of") print("of之后的内容为：", sentence[index_of+2:]) ``` 输出： ``` of之后的内容为： complex product development based on uncertainty ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiangyong58

喝杯茶还能肝到天亮，共同进步

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值