多卡并行训练遇到的问题

最新推荐文章于 2024-12-07 19:34:53 发布
最新推荐文章于 2024-12-07 19:34:53 发布
阅读量2.5k 收藏
点赞数
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/cytheria43/article/details/124858708
版权

1.mxnet+mpi+horovod 16卡并行训练

使用mpirun -np16 开启16个进程新建ndarray时报错：

cudaMemGetInfo failed：out of memory

需要设置环境变量中export CUDA_DEVICE_MAX_CONNECTIONS=32为

export CUDA_DEVICE_MAX_CONNECTIONS=16（8、1也行）

原因参考：cuda流和并发硬件连接问题

2.上述设置好后 nvidia.dali_loader出现pipe错误

RuntimeError: Critical error in pipeline

调低bs即可

cytheria43
关注
deepspeed多机多卡并行训练指南
qq_44193969的博客
08-31 4173
7机14卡，每台服务器两张A800服务器只允许内网访问，不能连接外网因此，你需要先搞定如何离线配置训练环境真正跑过多机多卡训练的同学，应该能明白，这篇文章是有多细节了！毫不夸张地说，干货满满！
ChatGLM GPU多卡并行训练
专注基础架构领域
09-20 853
首先打乱数据顺序，然后用 11/2 =6（向上取整），然后6乘以GPU个数2 = 12，因为只有11个数据，所以再把第一个数据（索引为6的数据）补到末尾，现在就有12个数据可以均匀分到每块GPU。BatchSampler原理: DistributedSmpler将数据分配到两个GPU上，以第一个GPU为例，分到的数据是6，9，10，1，8，7，假设batch_size=2，就按顺序把数据两两一组，在训练时，每次获取一个batch的数据，就从组织好的一个个batch中取到。后面的部分和单GPU相同。
计图MPI分布式多卡
吴建明wujianming_110117
02-10 915
计图MPI分布式多卡 计图分布式基于MPI（Message Passing Interface），主要阐述使用计图MPI，进行多卡和分布式训练。目前计图分布式处于测试阶段。 计图MPI安装 计图依赖OpenMPI，用户可以使用如下命令安装OpenMPI： sudo apt install openmpi-bin openmpi-common libopenmpi-dev 计图会自动检测环境变量中是否包含mpicc，如果计图成功的检测到了mpicc，输出如下信息： [i 0502 14:09:55.75848
linux单机多卡报错 CUDA device 1 but torch.cuda.device_count() is 1
Lily的博客
04-13 1876
安装了多个conda 环境，env1，env2， env3，env4 cuda 0, 1，2, 3 尝试使用同一个conda 环境跑2个测试用例，失败了，报错CUDA 不可用 尝试2个环境，跑副本程序（copy一份）是可以的** 注意： conda env list ( 查看环境） 进入conda 的环境再运行，即是使用了当前环境 ...
使用单机多卡GPU训练网络，数据并行模式，问题总结！！！！！！！！！！
ZXQ_JAY的博客
02-22 553
多GPU训练网络；数据并行；pytorch
单卡训练正常，多卡分布式训练梯度回传报错
JM的博客
08-01 303
【代码】单卡训练正常，多卡分布式训练梯度回传报错。
多gpu设置问题，关于CUDA_VISIBLE_DEVICES不起作用，不生效原因
qq_34915390的博客
04-11 4573
有时候设置完 CUDA_VISIBLE_DEVICES，但不起作用，是因为配置CUDA_VISIBLE_DEVICES的位置问题，这是个小细节问题，需要在访问任何有关查看cuda状态代码前设置，如torch.cuda.device_count()，否则就会无效。可以设置多个gpu，同时需要配合 nn.DataParallel 使用。
PyTorch 的多卡并行训练
weixin_34233421的博客
03-24 1万+
DataParallel 并行的方式分为了数据并行。 DataParallel 会将module复制到多个卡上，也会将每个batch均分到每张卡上，每张卡独立forward自己那份data，而在backward时，每个卡上的梯度会汇总到原始的module上，以此来实现并行。 但是，这样的方式会造成原始module在的那张卡的显存压力比其他卡要大，也就是这种方式存在负载不均衡的情况。具体情况可以看p...
「分布式训练」+ DDP单机多卡并行指南 PPT
04-10
在这个"「分布式训练」+ DDP单机多卡并行指南"中，我们将深入探讨DDP的工作原理以及如何在实践中应用。 分布式训练的核心目标是通过分割工作负载来加速模型的训练过程。在单机多卡环境中，每块GPU都会处理一部分...
LLaMA Factory多卡微调的实战教程
热门推荐
herosunly的博客
04-25 20万+
本文主要介绍了LLaMA Factory多卡微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 2.4 配置多卡环境 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调 3.3.1 zero3微调 3.3.2 启动API 3.3.3 模型测试
CUDA_Multi_Process_Service_Overview.pdf
12-23
CUDA_Multi_Process_Service_Overview，NVIDIA CUDA 多进程服务MPS介绍。
pytorch多卡训练显卡利用率问题
weixin_47062350的博客
04-19 5112
多卡训练显卡利用率问题 最近我继承了前同事的深度学习代码，使用pytorch写的。在nvidia-smi查看显卡利用率的时候发现显卡是经常出现除了第一张显卡外，其他7张显卡的利用率为0的情况。 同时查看了CPU利用率，发现大多的核也是空闲的： 阅读代码后先后试了：调整dataloader的num_workers的数量（之前为默认值）、把数据先加载到内存的方法均无法得到明显改善。 然后我debug各个阶段的耗时，发现在inference时耗时0.1秒多，但是在计算loss和回传loss时总共用时接近6秒（
在Ascend上，单卡精度可以很好，但多卡精度很差
weixin_45666880的博客
08-15 1085
1、单卡训练后，精度很好，但是跑分布式(数据并行)精度就很差，而且卡越多精度越低，使用的优化器为Adam，请问从单卡到多卡，从哪些方便调整可是多卡达到单卡精度。或者使用大batch更新优化的优化器例如lamb等。一般情况下可以尝试调大learning rate。...
Pytorch翻车记录：单卡改多卡踩坑记！
夕小瑶科技说
01-14 8653
文| 哟林小平@知乎先说明一下背景，目前正在魔改以下这篇论文的代码：https://github.com/QipengGuo/GraphWriter-DGLgithub.com由于每次...
第6章 流和并发
weixin_47955824的博客
02-27 2268
理解流和事件本质； 理解网格级并发； 重叠内核执行和数据传输； 重叠CPU和GPU执行； 理解同步机制； 避免不必要的同步； 调整流的优先级； 注册设备回调函数； 通过NVIDIA可视化； 内核级并发； 网格级并发；
【BBuf的cuda学习笔记十】Megatron-LM的gradient_accumulation_fusion优化
I good vegetable a!
08-23 1864
不需要总结，文本很短。
CUDA的kernel并行
feng__shuai的博客
01-11 5088
流并行
CUDA的流和并发
YYRAN_ZZU的博客
12-07 1392
CUDA流是一系列异步的CUDA操作(按照主机代码确定的顺序在设备上执行)，流封装这些操作，保持操作的顺序，允许操作在流中排队，并使它们在先前的所有操作之后执行，并且可以查询排队操作的状态。从软件的角度开看，CUDA操作在不同的流中并发运行，从硬件上看，不一定总是如此。根据PCIe总线争用或每个SM资源的可用性，完成不同的CUDA流可能仍然需要互相等待。
通义千问Qwen微调量化实战
IT大头的博客
01-26 4223
本文主要内容是对于Qwen量化实战演练，将深入探讨两种不同的量化方法：分别是使用官方量化后的int4模型进行微调，得到模型理论上也是量化后的微调模型，另一种则是使用官方全量模型进行微调，再将微调后的模型进行自主量化。ps:作者认为如果真实场景使用的话建议使用第一种，第二只是用于了解即可，而且自己去量化模型bug百出，费时费力。
LLM多卡并行
最新发布
03-16
### 实现LLM多GPU并行计算的关键技术 在大规模语言模型（LLM）的训练过程中，为了充分利用硬件资源并加速训练过程，通常会采用多GPU并行计算的方式。以下是实现这一目标的核心技术和方法： #### 1. **PyTorch Lightning框架的基础** PyTorch Lightning 是一种简化深度学习开发的高级封装工具，它提供了强大的功能来支持分布式训练。通过其模块化的结构设计，开发者可以轻松构建复杂的分布式训练环境[^1]。 - `LightningModule` 提供了一个统一接口用于定义模型及其优化器逻辑，并内置了对多种分布式策略的支持。 - `Trainer` 类负责协调整个训练流程，包括自动检测可用设备以及设置相应的分布模式。 #### 2. **单机多GPU的数据并行机制** 对于单节点上的多个 GPU 来说，“数据并行”是最常见的做法之一。在这种方式下，每张显卡都会保留一份完整的网络权重副本；输入样本会被分割成若干份分别送入不同的设备上独立完成前向传播与反向梯度更新操作后再汇总结果得到最终损失函数值的变化情况从而同步全局参数状态达到共同进步的目的。 ```python from pytorch_lightning import Trainer, seed_everything import torch.nn as nn import torch.optim as optim class MyModel(pl.LightningModule): def __init__(self): super().__init__() self.model = nn.Sequential( nn.Linear(100, 50), nn.ReLU(), nn.Linear(50, 1) ) def forward(self, x): return self.model(x) def training_step(self, batch, batch_idx): x, y = batch pred = self(x) loss = nn.MSELoss()(pred, y) return {'loss': loss} trainer = Trainer(gpus=4, strategy="dp") # 使用DP(DataParallel)方式进行四卡训练 model = MyModel() trainer.fit(model) ``` 上述代码展示了如何利用 PyTorch Lightning 的 DataParallel (简称 DP) 方法来进行简单的多 GPU 训练配置。 #### 3. **跨机器扩展——多机多GPU并行** 当单一服务器内的所有 GPU 资源仍不足以满足需求时，则需考虑跨越物理边界至其他计算机继续增加算力规模。此时可借助诸如 NCCL 或 MPI 这样的高效消息传递库促进节点间通讯效率最大化的同时保持较低延迟水平以便于快速交换中间产物信息进而维持整体收敛速度不受影响太多。 另外，在实际部署之前还需要仔细规划好集群拓扑关系图以确保最佳互联路径选取正确无误并且能够有效减少不必要的带宽消耗现象发生几率最小化可能存在的瓶颈效应问题出现概率降至最低限度范围内合理范围之内即可接受程度之上才可行得通顺流畅运行下去直至结束为止才行哦！ #### 4. **模型并行化策略** 除了传统的数据层面划分之外，针对超大型神经网络还可以采取更加精细粒度级别的切分手段即所谓的“模型并行”。这主要包括但不限于以下几种形式： - 层级并行(Layer Parallelism): 将不同层分配到各自专属处理器上去单独执行相应运算任务而不与其他部分共享任何东西； - 管道并行(Pipeline Parallelism): 把整个序列分解成为数个小阶段然后依次串接起来形成流水线作业形态最后再组合回原样输出预期成果出来展示给用户观看欣赏就好啦😊； - 参数并行(Parameter Partitioning): 对特别庞大的权重组件实施分区存储管理措施使得每个子集仅占用有限空间位置而不会造成溢出风险事件的发生频率过高以至于难以控制局面发展态势走向失控边缘区域附近徘徊不定的状态持续较长时间段落期间无法恢复正常秩序恢复平稳运作状况良好表现优异成绩突出显著效果明显可见一斑也值得肯定赞扬一番呢👏🎉！ 这些先进的算法设计理念极大地推动了现代人工智能领域向前迈进了一大步距离拉近了许多许多倍不止于此而已哟😎💪！ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值