deepspeed分布式训练在pytorch 扩展(PyTorch extensions)卡住

已于 2024-03-16 00:38:44 修改
阅读量2.8k 收藏 20
点赞数 15
分类专栏： # 训练错误 文章标签： pytorch 深度学习
于 2024-03-15 23:09:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_16555103/article/details/136752087
版权
文章讲述了在使用PyTorch进行多卡训练时，特别是deepspeed遇到长时间卡顿的问题。解决方法是删除根目录下的torch和torch_extensions缓存文件，以加快初次构建速度并避免卡住。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

错误展示：

Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...

Using /root/.cache/torch_extensions/py310_cu121 as PyTorch extensions root...

 

错误表现：

出现在多卡训练过程的pytorch 扩展，deepspeed 长时间卡住（1-2小时）

 PyTorch extensions 初次构建需要一定的时间，如果构建失败需要将之前构建的缓存删除，否则就有可能卡住较长的时间

# 跳到用户目录
cd ~
# 展示所有的文件
ls -alh
# 上述步骤可以看到一个.cache的目录，需要删除 .cache 中与torch有关的缓存文件
rm -rf ~/.cache/torch
rm -rf ~/.cache/torch_extensions

重新运行训练脚本，程序work 

进程在运行时卡住，显存分配了却不开始训练（卡在Using /home/faith/.cache/torch_extensions as PyTorch extensions root...）
u013250861的博客
06-10 995
最后仔细分析了以下，这个代码可能有一些问题，因为我之前是用四张3090在训练，中途停电就中断了一下，当我重新运行的时候使用的是两张卡就出现了这种情况，所以我怀疑可能是 .cache 的原因，导致了进程卡死（两次运行环境和配置不同引起的）），将这个文件夹删除即可，可以重新生成.cache文件夹，然后就不会有冲突啦。无论怎么重新运行程序，或者改变线程或者显卡都一直卡在这里，没有继续训练。一般会在用户主目录下会有一个自动生成的。文件夹（有可能是隐藏状态，需要你打开。
AI4S - AlphaFlow: PyTorchLightning+DeepSpeed 分布式训练配置 教程 (4)
AGI
02-19 942
目前，AlphaFlow 项目不支持 Multi GPU 运行，需要修改 PyTorch Lightning 框架，集成 DeepSpeed 等分布式策略。PyTorch Lightning 和 DeepSpeed 的组合使用，可以为深度学习项目，带来显著的训练速度提升和内存优化。
deepspeed单机多卡训练报错
a018917的博客
01-30 1772
单机多卡训练deepspeed框架一直报错有八个GPU，使用deepspeed脚本一直报错ValueError: No slot ‘5’ specified on host ‘localhost’
Using torch_extensions\Cache\py39_cu121 as PyTorch extensions root...卡住问题解决
weixin_45615730的博客
03-26 1366
Using C:\Users\13090\AppData\Local\torch_extensions\torch_extensions\Cache\py39_cu121 as PyTorch extensions root... 没有报错，只是load运行后一直停在这一步
DeepSpeed多机多卡微调笔记
最新发布
weixin_45056021的博客
03-19 586
你现在的目标是在三台服务器上使用 DeepSpeed 进行多机多卡的 BERT 微调。你已经有了模型和数据，接下来的步骤包括配置 DeepSpeed 环境、设置分布式训练、启动多机训练任务。这样，你就可以在三台服务器上顺利进行 BERT 多机多卡微调了！进行多机多卡训练，需要所有服务器之间能够无密码 SSH 登录。如果 NCCL 通信正常，就可以继续。DeepSpeed 训练时，可以使用。进行测试，确保可以无密码登录。如果你的模型比较大，可以尝试。进行多机通信，建议安装。如果被占用，换一个端口。
deepspeed 训练多机多卡报错 ncclSystemError Last error
高颜值的杀生丸(此博客转载自我的博客园)
04-18 1845
最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了 我们使用 2台 8*H100 遇到过 错误1 10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external library call failed or device error. 10.255.19.85: Last error:10.255....
pytorch多卡分布式训练卡住的问题
剑启郁兰的博客
04-28 2412
最近需要模型进行多任务学习，完成代码后单卡跑是没有问题的。但是多卡跑基本上会出现卡在第一个迭代的情况。忙了一天总算是解决了。实际上，尝试了很多种方案，最后发现问题出现在这里。这部分内容具体参考如下。我的模型不执行前者，因而我是把这部分给删了，从而解决。知道原因，解答方案也比较明了，
pytorch-lightning多卡训练中途卡死，GPU利用率100%
qq_52423671的博客
04-12 3132
使用torch1.7.1+cuda101和pytorch-lightning==1.2进行多卡训练，模式为'ddp'，中途会出现训练无法进行的问题。发现是版本问题，升级为pytorch-lightning==1.5.10问题解除。在pip安装过程中会卸载掉我的torch，指定版本也没用，解决方式是等安装pytorch-lightning结束后再把torch版本换回来。
RuntimeError Cuda extensions are being compiled...Pytorch binaries were compiled with Cuda 11.7解决方案
weixin_43178406的博客
07-09 6万+
本文主要介绍了RuntimeError: Cuda extensions are being compiled with a version of Cuda that does not match the version used to compile Pytorch binaries. Pytorch binaries were compiled with Cuda 11.7解决方案，希望能对使用Pytroch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
使用Pytorch的 C++ (CUDA)扩展实现卷积算子
weixin_43385826的博客
08-26 751
在实现卷积算子时，将卷积算子等价转换为两个阶段：收集（collecting）和 线性变换（linear transform）。在收集阶段，“image to column” 和 “column to image” 过程分别在前向传播中将输入的。文件 setup.py，在项目目录中使用命令 python setup.py install 将其编译安装到python中。这里根据设备不同提供两种实现方式，一种是在CPU设备上串行实现，另一种是在GPU设备上并行实现。在线性变换阶段，卷积核权重对前向传播中得到的。
在Windows上离线安装指定版本的Pytorch（以CUDA11.8版本为例）
AnChenliang_1002的博客
07-31 2180
我们都知道，通过 pip或conda在线安装Pytorch是非常方便的 ，但是有时候网络环境受到限制，比如公司的工作站（无法连接网络）或者机房的教学机器等等，只能通过离线的方式安装Pytorch；今天就来记录一下离线安装Pytorch的过程。并记录了遇到的问题及解决过程。对于深度学习 环境搭建来说，选择Pytorch的版本是非常重要的，尤其是对于GPU的机器，不同版本的CUDA也对应着不同版本的Pytorch；本文以CUDA11.8为例，离线安装CUDA11.8对应的Pytorch。
Ebtorch：个人使用的PyTorch扩展与实用工具集
标题中的“ebtorch：收集PyTorch的增加，扩展，实用程序，使用和滥用...供个人使用”所指的知识点涵盖了PyTorch这一流行深度学习框架的几个方面。首先，“增加”(augmentations)通常指的是对数据进行变换来增强模型...
deepspeed训练zero3策略cpu内存不足报错
weixin_43013480的博客
01-18 2881
大概率是cpu内存不足所致，训练用的zero3策略，将deepspeed的zero3策略换为zero2策略问题就解决了。用deepspeed训练deepseek过程中遇到如下问题，
DeepSpeed多卡训练问题梳理
u012395477的博客
07-03 1万+
DeepSpeed多级多卡问题处理
pytorch 训练时候不动了
northeastsqure的专栏
12-23 4859
因为用的线程太多， 打开文件太多了导致的，如下步骤 1 num_workers变小有助于解决这个问题 train_loader = DataLoader( dataset=train_set, batch_size=args.batchsize, shuffle=True, num_workers=4, pin_memory=True, ) 2.提高linux limit 参考https://le.
使用DeepSpeed进行单机多卡训练
weixin_45056021的博客
10-24 2664
【代码】使用DeepSpeed进行单机多卡训练。
PyTorch 训练时中遇到的卡住停住等问题
热门推荐
yyywxk的博客
05-24 7万+
- 问题描述 使用 PyTorch 框架训练模型，训练第一个 epoch 时，在最后一个 batch 处卡死，卡了一天都没有动弹，而 CPU 和 GPU 都处于正常运行的状态，程序也没有报错，并且之前训练一直都是正常的。最终，只能通过 Ctrl+C 强制性暂停。如下图所示。 - 可能的原因 搜索文章发现，有人出现这种问题是和 cv2.imread 有关，用 OpenCV 的接口进行数据读取，而没有用 PIL，导致出现 OpenCV与Pytorch互锁的问题，关闭OpenCV的多线程即可解决问题1 2。 但
使用DeepSpeed进行多机多卡训练模型
weixin_45056021的博客
10-29 3280
中可根据多机多卡环境调整批量大小、梯度累积等超参数，DeepSpeed 会自动管理训练过程。为了使各节点（机器）能够相互通信，你需要设置主节点的地址和端口。DeepSpeed 使用。配置文件中，不需特别调整机器数量相关的配置，主要是根据训练环境进行优化。代码方面的调整较少，DeepSpeed 会自动处理多机分布式训练。在主节点和从节点上分别启动训练进程。完成这些步骤即可启动多机多卡训练。启动脚本，而从节点使用。区分主节点和从节点；多机训练时可以用一个。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值