PyTorch 1.0 中文文档：torch.distributed

最新推荐文章于 2025-09-16 16:47:27 发布
翻译 最新推荐文章于 2025-09-16 16:47:27 发布 · 4.1w 阅读 · 0

本文详细介绍了PyTorch中支持的三种后端（Gloo、MPI、NCCL）的功能对比，并针对不同场景提供了后端选择的建议。无论是在CPU还是GPU环境下进行分布式训练，都能找到适合的后端方案。
部署运行你感兴趣的模型镜像

译者：univeryinli

后端

torch.distributed 支持三个后端，每个后端具有不同的功能。下表显示哪些功能可用于CPU/CUDA张量。仅当用于构建PyTorch的实现支持时，MPI才支持CUDA。

后端gloompinccl
设备CPUGPUCPU
————
发送✓✘✓
接收✓✘✓
广播✓✓✓
all_reduce✓✓✓
reduce✓✘✓
all_gather✓✘✓
收集✓✘✓
分散✓✘✓
屏障✓✘✓

PyTorch附带的后端

目前PyTorch分发版仅支持Linux。默认情况下，Gloo和NCCL后端构建并包含在PyTorch的分布之中（仅在使用CUDA构建时为NCCL）。MPI是一个可选的后端，只有从源代码构建PyTorch时才能包含它。（例如，在安装了MPI的主机上构建PyTorch）

哪个后端使用？

在过去，我们经常被问到：“我应该使用哪个后端？”。

  • 经验法则
    • 使用NCCL后端进行分布式 GPU 训练。
    • 使用Gloo后端进行分布式 CPU 训练。
  • 具有InfiniBand互连的GPU主机
    • 使用NCCL，因为它是目前唯一支持InfiniBand和GPUDirect的后端。
  • GPU主机与以太网互连
    • 使用NCCL，因为它目前提供最佳的分布式GPU训练性能，特别是对于多进程单节点或多节点分布式训练。如果您遇到NCCL的任何问题，请使用Gloo作为后备选项。（请注意，Gloo目前运行速度比GPU的NCCL慢。）

阅读全文／改进本文

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
科研学习笔记！
06-26 1万+
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
gamma分布 pytorch_PyTorch 1.0 中文文档：torch.distributions
weixin_32259601的博客
01-14 1630
distributions 包含可参数化的概率分布和采样函数. 这允许构造用于优化的随机计算图和随机梯度估计器. 这个包一般遵循 TensorFlow Distributions 包的设计.通常, 不可能直接通过随机样本反向传播. 但是, 有两种主要方法可创建可以反向传播的代理函数. 即得分函数估计器/似然比估计器/REINFORCE和pathwise derivative估计器. REINFOR...
Pytorch 分布式训练DDP(torch.distributed)详解-原理-代码
weixin_42503655的博客
01-12 1万+
Pytorch 分布式训练-原理-代码
PyTorch 1.0 中文文档：广播语义
热门推荐
龙哥盟
02-03 3万+
译者：冯宝宝 许许多多的PyTorch操作都支持NumPy Broadcasting Semantics。 简而言之，如果PyTorch操作支持广播，那么它的Tensor参数可以自动扩展为相同的类型大小（不需要复制数据）。 一般语义 如果遵守以下规则，则两个张量是“可广播的”： 每个张量至少有一个维度； 遍历张量维度大小时，从末尾随开始遍历，两个张量的维度大小必须相等，它们其中一个为1，或者...
PyTorch深度学习框架离线文档完整版
最新发布
weixin_42600128的博客
09-16 651
PyTorch由Facebook AI Research团队于2016年开源，迅速成为深度学习研究的首选框架，其核心优势在于动态计算图（Define-by-Run）机制，允许在运行时灵活构建和修改网络结构。框架采用分层架构设计：底层基于C++实现高效张量运算与自动微分引擎，上层通过Python接口暴露简洁API，实现科研友好性与工程扩展性的平衡。y = x ** 2print(y.grad_fn) # <PowBackward0 object>，体现动态图即时构建其模块化组件包括。
【PyTorch】torch.distributed()的含义和使用方法
yangweipeng708的博客
05-13 2508
是 PyTorch 的一个子模块，它提供了支持分布式训练的功能。这意味着它允许开发者将神经网络训练任务分散到多个计算节点上进行。使用分布式训练可以显著加快训练过程，特别是在处理大型数据集和复杂模型时。这个模块支持多种后端，可以在不同的硬件和网络配置上高效运行。
Pytorch DistributedDataParallel 多卡训练
健康工作每一天
12-28 1万+
pytorch 多卡GPU训练 基础知识 常用方法 torch.cuda.is_available()：判断 GPU 是否可用 torch.cuda.device_count()：计算当前可见可用的 GPU 数 torch.cuda.get_device_name()：获取 GPU 型号，如Tesla K80 torch.cuda.manual_seed()：为当前 GPU 设置随机种子 torch.cuda.manual_seed_all()：为所有可见可用 GPU 设置随机种子 tor.
torch.distributed
南城以北的博客
04-19 2499
参考。
PyTorch分布式训练：torch.distributed模块的精粹与实践
2401_85842555的博客
08-19 1036
在深度学习模型训练中，随着数据量和模型复杂度的增加，单机训练的局限性日益凸显。PyTorch框架通过其模块提供了一套强大的分布式训练解决方案，支持多GPU和多节点训练，有效加速了模型的训练过程。本文将深入探讨模块的工作原理、核心组件，并提供实际代码示例，帮助读者掌握如何在PyTorch中实现高效的分布式训练。模块是PyTorch中用于分布式训练的核心库，它提供了多进程通信和同步机制。该模块支持多种后端，如NCCL、Gloo和MPI，以适应不同的硬件和网络环境。使用。
pytorch 进行分布式调试debug torch.distributed.launch 三种方式
flyingluohaipeng的博客
01-10 1万+
当进入pdb调试后，跟原先使用pdb调试命令一样，可以在线打断点（再使用pdb命令添加多个断点），也可以逐行执行代码，也能查看变量。唯一缺点是分布式调试需要在代码前手动加上pdb.set_trace()这一行代码，手动打第一个断点。命令行添加pdb后，进入调试的代码在launch.py中，打断点到主程序后，无法进入到住程序里面，------？
pytorch tutorials v1.0.0.dev20181002 官方文档PDF版
10-10
pytorch tutorials 保存于网页，完美pdf版，完整公式、图片、表格，有页码，有目录，有书签导航，适用电脑、pad、手机上浏览。 === Printed v1.0.0.dev20181002 from [ https://pytorch.org/tutorials/ ] at 2018-10-10 21:03:44. Visit [ https://download.csdn.net/user/ldengjie/uploads ] to get the latest version pdf or mail to ldengjie@163.com to ask for printing and updating the latest version pdf. === 《pytorch docs v0.4.1 官方文档PDF版》 在 https://download.csdn.net/download/ldengjie/10712472 ，保存时间 2018-10-10 15:17:41 ===
pytorch distributed 分布式训练
qq_43561292的博客
01-06 1922
Pytorch 分布式训练 方法总结
Pytorch distributed training
q12373的博客
04-21 291
关于cuda的一些东西 cuda 是NVIDIA开发的一个基于并行计算的工具台 CUDNN是NVIDIA开发的一个基于工作台的更高级的操作工具 关于 torch.backends.cudnn.deterministic 和 torch.backends.cudnn.benchmark 在这篇知乎文章中写的很清楚 deterministic 置为True的话 deterministic benchmark ...
Pytorch分布式训练
qq_40874603的博客
07-30 379
使用单个GPU：pytorch.cuda用于设置和运行CUDA操作，会跟踪当前选定的GPU，并且将分配的所有CUDA张量默认在该设备上创建。所选设备可用torch.cuda.device更改。 使用torch.cuda.is_available()判断当前环境是否可以是否可以使用GPU。 当GPU可用时，可以使用torch.device()创建一个torch.device对象，例如torch.device('cuda')或使用torch.device('cuda:0')指定GPU，该对象可以将张量移动到移动
Pytorch torch.distributed 实现单机多卡分布式训练
PanYHHH的博客
12-26 1万+
一、分布式训练的优势： torch.nn.DataParallel可以使我们方便地将模型和数据加载到多块gpu上，实现数据并行训练，但存在着训练速度缓慢、负载不均衡的问题。相比之下，torch.distributed具有以下几点优势： 1. distributed是多进程的，会分配n个进程对应n块gpu，而DataParallel是单进程控制的，所以存在着PIL（全局解释器锁）的问题。 2. （主要优势）distributed在每个进程内都维护了一个optimizer，每个进程都能够独立完成梯度...
pytorch中的分布式训练
Blankit1的博客
07-16 4348
pytorch分布式训练
【PyTorch】torch.distributed 模块：支持分布式训练和计算
彬彬侠的博客
06-15 1415
torch.distributed 是 PyTorch 提供的一个模块，用于支持分布式训练和计算。它允许在多个进程、多个 GPU 甚至多个节点（机器）之间协同工作，适用于数据并行、模型并行等场景。torch.distributed 提供了进程间通信的工具（如集合通信操作）和分布式训练的关键组件，配合工具如 torchrun 可以轻松启动分布式任务。
【PyTorch】torch.distributed模块：分布式训练工具包
彬彬侠的博客
02-22 1249
torch.distributed是PyTorch提供的一个分布式训练工具包，它支持在多个计算节点或多个GPU上进行数据并行和模型并行的训练。通过torch.distributed，可以实现高效的分布式训练，以加速深度学习模型的训练过程，尤其是在需要大规模计算资源时（例如，跨多个机器的训练）。torch.distributed提供了多种通信操作，例如all_reduce（梯度归约）、broadcast（广播参数）、barrier（进程同步）等，来支持分布式训练过程。
如何确认我的PyTorch版本是否支持`torch.distributed`?
10-08
在Python中，你可以通过以下步骤检查你的PyTorch版本是否包含`torch.distributed`模块： 1. 首先，打开命令行终端或者Python交互环境（如Jupyter Notebook）。 2. 然后导入PyTorch库并查看其版本信息。输入以下代码： ```python import torch print(torch.__version__) ``` 3. 如果`torch`库版本大于等于1.0.0，因为`torch.distributed`是在PyTorch 1.0版本中引入的，那么你应该就能使用分布式功能。你可以在命令结果中查找"1.x.x"这样的格式，其中"x.x.x"代表各个小版本号。 4. 接下来，可以尝试导入`torch.distributed`模块，看看是否能成功导入而不会报错。如果能成功导入，则说明你的版本支持该模块： ```python try: import torch.distributed as dist print("Your PyTorch version supports torch.distributed") except ImportError: print("Your PyTorch version does not support torch.distributed or it's not installed.") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值