关于深度学习中使用多卡GPU进行训练学习总结

最新推荐文章于 2025-05-02 11:16:31 发布
最新推荐文章于 2025-05-02 11:16:31 发布
阅读量2.8k 收藏 4
点赞数
CC 4.0 BY-SA版权
文章标签： 深度学习 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/learning5201/article/details/120271387
这篇博客介绍了如何在PyTorch中利用nn.parallel.scatter进行数据分布，以及allreduce函数在多GPU间的向量相加操作。详细阐述了数据并行（DataParallel和DistributedDataParallel）与模型并行的方式，包括单机多卡和多机多卡的实现。DataParallel适合单机多GPU，而DistributedDataParallel则通过多进程在多机多卡间同步模型和数据。同时，文章探讨了模型并行策略，用于解决大型模型的参数分布问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

（备注：该博文还没写完）
1.nn.parallel.scatter 向多个设备分发参数
在这里插入图片描述
这是实现方法，在模型中可以值调用函数，其原理就是通过for循环 然后copy到不同的设备上
2.allreduce 函数 将所有向量相加，并将结果广播给所有的gpu
在这里插入图片描述
3.将一个小批量的数据均匀地分布在多个GPU上
在这里插入图片描述
使用多机多卡的形式
在使用多机多卡训练数据是，通常分为两种形式：（1）数据并行，模型复制为n份，然后每一份模型中传入不同bacth数据用进行训练。（2）模型并行，用于解决一张卡上容不下一个模型的参数量问题。
1.数据并行的方式
Data Parallel - Data distributed across devices
pytorch中主要有两种方式用于实现数据并行：DataParallel 和DistributedDataParallel ，这两个函数可以保证复制（replicate）出来的模型参数相同，主要区别在于DataParallel 用于线程，而 DistributedDataparallel 是用于多进程。
1.1 single machine data parallel
在这里插入图片描述
1.2 Distributed Data Parallel
Distributed Data Parallel 的方式 是通过 多进程实现的，每个进程读取一个小批量的数据然后传递给自己负责的一个gpu
进行计算
在这里插入图片描述

2.模型并行的方式
Model Parallel -Model distributed across devices
2.1 single machine Model Parallel
在这里插入图片描述
2.2 Distributed Data Parallel with Model Parallel

在这里插入图片描述

learning112358
关注
cpu并行和gpu并行_深度学习GPU工作站/服务器硬件配置方案
weixin_39790168的博客
11-02 1760
引子市场上用于深度学习训练计算机大致情况如下：(1)服务器/工作站(支持2、4、8块GPU架构)：普遍存在噪音大，无法放置于办公环境，必须放到专门的机房，维护成本高，另外数据存储带宽、延迟、容量也不尽如意。(2)分布式集群架构：性能强大，但是开发成本太高(太贵)，是大多数科研单位及个人无法承受。(3)组装电脑：这类特点是价格便宜，但是在散热和功率方面依然是普通家用/游戏电脑标准，稳定性巨差。(4)...
指定GPU 进行深度学习训练和多卡并行训练
lei_qi的博客
10-10 1559
指定GPU 进行深度学习训练 # 方法1： torch.cuda.set_device(1) # 方法2： device = torch.device("cuda:1") # 方法3： # 推荐使用 os.environ["CUDA_VISIBLE_DEVICES"] = '1' 多GPU并行代码 使用四卡进行并行训练 多GPU并行 os.environ["CUDA_VISIBLE_DEVICES"] = "0,1,2,3" if torch.cuda.device_count()
深度学习多卡训练
weixin_47414034的博客
07-13 397
直接运行或者是在终端输入下面的命令：
使用 PyTorch 实现多卡训练(附使用DDP的简单实现)
m0_74167177的博客
05-02 1155
PyTorch 的。
【深度学习】多卡训练__单机多GPU方法详解（torch.nn.DataParallel、torch.distributed）
Danger的博客
03-23 1万+
【深度学习】多卡训练__单机多GPU方法详解（torch.nn.DataParallel、torch.distributed）
收藏 | GPU多卡并行训练总结
zandaoguang的博客
08-27 1712
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达仅作学术分享，不代表本公众号立场，侵权联系删除转载于：记忆的迷谷@知乎（已授权）来源 | https:/...
深度学习DeepSeek GPU资源使用与优化解析：提升训练效率的技术方案与案例分析
最新发布
05-02
内容概要：文章围绕“DeepSeek到底用了多少GPU”这一主题，详细解析了GPU在深度学习中的重要作用、DeepSeek可能使用的GPU数量及其优化策略。首先介绍了GPU的核心优势，包括并行计算、高内存带宽和加速库支持。接着...
Keras深度学习框架第十四讲：使用TensorFlow进行多GPU分布式训练
MUKAMO的博客
05-19 1725
在进行TensorFlow分布式训练时，优化数据加载是关键。使用tf.data.Dataset对象加载数据，确保数据按全局批量大小进行批处理。使用dataset.cache()将数据缓存至内存或本地文件以加快迭代速度。dataset.prefetch(buffer_size)使数据预取与模型训练异步进行，减少延迟。此外，使用ModelCheckpoint回调定期保存模型以实现容错性。这些技术结合使用，可显著提高分布式训练的效率和性能。
PyTorch网络训练：单机多卡GPU加速的深度探索
cda2024的博客
12-19 898
")
Keras深度学习框架第十五讲：使用PyTorch进行多GPU分布式训练
MUKAMO的博客
05-20 944
PyTorch支持单主机多GPU的同步训练，通过torch.nn.parallel.DistributedDataParallel模块，每个GPU上运行模型的一个副本。全局数据批次被分割并分配给各个GPU，每个GPU独立处理并计算梯度，最后同步更新所有模型副本的权重。这通过启动多个Python进程并使用分布式数据加载器实现。此方法充分利用了多GPU的并行计算能力，从而显著加速了深度学习模型的训练过程。
使用NCCL进行多GPU训练(MULTI-GPU TRAINING WITH NCCL)
06-06
使用NCCL进行多GPU深度学习训练，其中涉及多机多卡，单机多卡等技术。 Optimized inter-GPU communication for DL and HPC Optimized for all NVIDIA platforms, most OEMs and Cloud Scales to 100s of GPUs, targeting 10,000s in the near future. Aims at covering all communication needs for multi-GPU computing. Only relies on CUDA. No dependency on MPI or any parallel environment.
深度学习-GPU多卡并行训练总结
记录学习的小白
07-06 5259
首先打乱数据顺序，然后用 11/2 =6（向上取整），然后6乘以GPU个数2 = 12，因为只有11个数据，所以再把第一个数据（索引为6的数据）补到末尾，现在就有12个数据可以均匀分到每块GPU。BatchSampler原理: DistributedSmpler将数据分配到两个GPU上，以第一个GPU为例，分到的数据是6，9，10，1，8，7，假设batch_size=2，就按顺序把数据两两一组，在训练时，每次获取一个batch的数据，就从组织好的一个个batch中取到。后面的部分和单GPU相同。
深度学习多机多卡解决方案-purine
weixin_46246967的博客
08-03 236
深度学习多机多卡解决方案-purine
【模型训练】深度学习多GPU训练的不同方式及代码实现
weixin_44984705的博客
10-11 1871
单机单卡训练，单机多卡训练及多机多卡训练
pytorch深度学习一机多显卡训练设置，流程
热门推荐
qq_45860671的博客
01-10 1万+
最近在学习在服务器的ubuntu环境上配置用多个显卡训练，之前只用一个显卡训练实在是太慢了点 先看看服务器上有几个显卡： nvidia-smi 即可得到具体的显卡信息： 每个显卡之前有对应的编号。 然后得知自己服务器上总共有多少显卡后，插入以下代码： #一机多卡设置 os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3'#所有的显卡，共计四块 device_ids = [0,1]#选中其中两块 model = nn.DataParallel(mode
NVIDIA-smi
sinat_37196107的博客
08-02 1291
上图是服务器上 GeForce GTX 1080 Ti 的信息，下面一一解读参数。 上面的表格中的红框中的信息与下面的四个框的信息是一一对应的： GPU：GPU 编号； Name：GPU 型号； Persistence-M：持续模式的状态。持续模式虽然耗能大，但是在新的GPU应用启动时，花费的时间更少，这里显示的是off的状态； Fan：风扇转速，从0到100%之间变动； ...
深度神经网络硬件 GPU单机多卡并行 动手学深度学习v2
AI架构师易筋
04-20 954
1. 单机多卡并行 GPU 安装靠得太紧，容易烧掉。下面这张图，用了一个月就烧掉了一块GPU。 参考 https://www.bilibili.com/video/BV1vU4y1V7rd/?spm_id_from=trigger_reload
anaconda 配置pytorch_最简单的深度学习环境配置？
weixin_39856630的博客
11-22 496
适读人群：刚入门深度学习的萌新本文主要目的是让没有接触过深度学习的人能够快速配置，运行深度学习相关代码。为什么使用Anaconda？Anaconda是一个开源的python发行版本，特别适用于数据处理和科学计算。因为其中内置了很多常用于数据处理的第三方库。通俗来说就是内置了python和numpy/pandas/matplotlib等常用的库。不再需要进行pip install xxx这样的库安装...
深度学习训练查看GPU使用情况
04-02
<think>好的，我现在需要回答用户关于如何在深度学习训练过程中监控GPU使用情况的问题。用户提到了工具和方法，我需要根据提供的引用资料来整理答案。 首先，查看引用内容，引用[2]提到nvidia-smi是处理NVIDIA GPU的基本工具，建议用于监控。引用[4]说明Ubuntu系统中可以用top查看CPU，而显存和GPU占用不同。引用[5]提到了增大批量大小和数据加载优化，这可能和利用率有关，但用户现在问的是监控工具。 需要分点回答，工具和方法。工具方面，nvidia-smi是必须提到的，还有GPU-Z（引用[3]的链接），但可能用户更关注命令行工具。方法部分需要包括实时监控、周期性记录、结合显存和GPU利用率，以及结合CPU使用情况。引用[4]提到了top命令，但那是查看CPU的，可能需要补充如何同时监控CPU和GPU。 可能还需要提到像nvtop这样的工具，或者深度学习框架自带的监控，但引用里没有提到这些，所以可能不包含。需要确保所有信息都来自提供的引用，特别是引用2、4、5。 另外，注意事项部分需要强调两者的区别（显存和GPU占用），引用[4]提到了这点。还有数据传输优化，可能影响利用率，但用户的问题是关于监控，所以需要分开处理。 现在组织结构：工具部分包括nvidia-smi、GPU-Z、系统工具如top；方法包括实时监控、周期性记录、结合CPU和GPU数据、使用数据加载优化。注意事项要提到显存与GPU占用的区别，以及数据预处理的影响。 可能引用中的解决方案如将数据预处理移到GPU（引用1）会影响GPU利用率，但用户的问题是关于监控，所以这部分可能放在注意事项或优化建议里。但用户的问题是询问如何监控，所以重点在工具和方法，优化建议可以作为补充。 现在需要确保每个点都有对应的引用支持，比如nvidia-smi来自引用2，显存和GPU区别来自引用4，数据加载优化来自引用5。 最后生成相关问题，可能需要根据内容提出，比如如何优化GPU利用率，工具比较，显存监控方法等。</think>在深度学习训练中，监控GPU使用情况是优化资源利用的关键步骤。以下是常用的工具和方法： ### 一、常用监控工具 1. **nvidia-smi（命令行工具）** NVIDIA官方提供的命令行工具，可查看显存占用、GPU利用率、温度等实时信息。 **使用示例**： ```bash watch -n 1 nvidia-smi # 每秒刷新一次 ``` 输出包含`Volatile GPU-Util`（GPU计算核心利用率）和显存占用（`Memory-Usage`），适用于快速诊断资源瓶颈[^2][^4]。 2. **GPU-Z（图形化工具）** 适用于Windows系统的轻量级工具，提供GPU详细信息、传感器数据和负载监控，支持导出报告[^3]。 3. **系统级工具（如`top`和`htop`）** 在Linux系统中，通过`top`命令查看CPU使用率，结合GPU监控工具全面分析系统负载。 --- ### 二、监控方法 1. **实时监控与周期性记录** - 使用`nvidia-smi`搭配`watch`命令实现动态刷新。 - 通过脚本记录数据到日志文件： ```bash nvidia-smi --query-gpu=utilization.gpu,memory.used --format=csv -l 1 > gpu_log.csv ``` 2. **显存与GPU计算核心的区分** - **显存占用**：存储模型参数和数据的空间，通过`Memory-Usage`指标查看。 - **GPU利用率**：计算核心的活跃程度，通过`GPU-Util`指标反映。两者可能不同步（例如显存满载但计算核心闲置）。 3. **结合CPU与GPU数据** 当GPU利用率低时，检查CPU使用率。若CPU负载过高，可能因数据预处理或传输延迟导致GPU等待（可优化数据加载流程，如使用PyTorch的`DataLoader`设置多线程）[^5]。 --- ### 三、注意事项 1. **工具选择场景** - 命令行调试优先用`nvidia-smi`，图形化分析可选GPU-Z。 - 分布式训练时，需监控多卡负载均衡性。 2. **资源瓶颈定位** - 若GPU利用率低于80%，可能受限于数据加载速度或模型计算量[^5]。 - 显存不足时需减少批量大小或优化模型结构。 --- ### 示例代码（数据加载优化） ```python import torch from torchvision import datasets, transforms # 数据预处理直接传输至GPU transform = transforms.Compose([ transforms.ToTensor(), transforms.Lambda(lambda x: x.cuda()) ]) dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform) dataloader = torch.utils.data.DataLoader(dataset, batch_size=128, num_workers=4, pin_memory=True) ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值