DOCKER里面PYTORCH关于GLOO地址声明 && NCCL地址声明

最新推荐文章于 2025-10-04 02:52:27 发布
原创 最新推荐文章于 2025-10-04 02:52:27 发布 · 2.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

在Docker环境中进行多卡训练时遇到RuntimeError，无法找到my_username地址。解决方法是在训练前设置环境变量GLOO_SOCKET_IFNAME为lo，确保分布式训练时网络通信正常。若出现训练卡顿，可以设置NCCL_SOCKET_IFNAME=lo来优化通信性能。

1. 问题描述

       我在docker环境下，用多卡训练行人ReID时，报以下错误：

       RuntimeError: [enforce fail at /pytorch/third_party/gloo/gloo/transport/tcp/device.cc:127] rp != nullptr. Unable to find address for: my_username

       说找不到my_username地址。

2. 解决问题

      在训练模型之前，先设置一下环境变量，即声明一下地址：

      export GLOO_SOCKET_IFNAME=lo

3. 补充

     如果多卡训练时出现卡顿，用下面的方法解决：

     分布式训练前，终端先执行：export NCCL_SOCKET_IFNAME=lo

      

pytorch 多卡训练 accelerate gloo
jacke121的专栏
12-30 1414
accelerate 多卡训练
Docker内 Pytorch+NCCL源码编译
Pretend的博客
02-07 3490
PyTorch 是一个开源的深度学习框架，而 NCCL是 NVIDIA 提供的用于高性能 GPU 群集通信的库。通过编译 PyTorch 和 NCCL 的源代码，可以自定义构建并优化 PyTorch 在 GPU 群集上的性能。 首先，需要安装构建 PyTorch 和 NCCL 所需的依赖项，例如 CUDA、cuDNN、Python 和其他相关的开发库。这些依赖项可能因操作系统和硬件配置而有所不同。 克隆 PyTorch 源代码，进入 PyTorch 源代码目录，指定编译时的特定选项，例如支持的硬件架构
NCCL、OpenMPI、Gloo对比
taoqick的专栏
08-21 1万+
以GPU的维度来看，数据并行简单来说就是在并行训练的设备上，对完整训练数据进行分片训练，同一个训练的时间间隔内，不同GPU设备上用各自分片的数据对模型进行训练，其后再进行模型梯度的汇总更新和各GPU间的状态同步。这样做的结果就是在一个训练的时间间隔内，各个GPU设备可以并行地用各自分片的数据进行模型训练，从而大大加速了整体模型的训练。从上图可见，数据并行时，每个GPU设备上保持了同样的模型数据1.CPU负责将不同的训练数据（mini-batch）分别喂给GPU0和GPU1设备；
OLMo多节点通信优化：NCCL与GLOO对比
最新发布
gitblog_00790的博客
10-04 313
在分布式训练场景中，多节点间的通信效率直接影响模型训练速度和资源利用率。OLMo（Open Language Model）作为开源大语言模型训练框架，支持NCCL（NVIDIA Collective Communications Library）和GLOO两种通信后端，本文将从技术原理、性能表现和配置实践三个维度展开对比分析，帮助开发者选择最优通信策略。 ## 技术原理对比 ### NCCL核...
PyTorch并行与分布式(二)分布式通信包torch.distributed
小小何先生的学习之旅
12-12 8444
  本文主要参考资料为distributed communication package torch.distributed 参考 distributed communication package torch.distributed
【Gloo协议验证多机异构模型训练：NV-GPU, 国产S60】
jack.li的博客
10-24 1324
通过gloo通信，可以将各家芯片通信联通通过梯度更新实验，证明方式可行。
docker里面pytorch关于gloo地址声明
聿默的博客
10-26 2283
0.环境 ubuntu16.04 pytorch1.1.0 1.问题 RuntimeError: [enforce fail at /pytorch/third_party/gloo/gloo/transport/tcp/device.cc:127] rp != nullptr. Unable to find address for: my_username 说找不到my_username地址。 2.解决问题 （1）通过查询资料： 即使有上面的，对docker不是很了解也很难解决。不要
Deep Learning:PyTorch 基于docker 容器的分布式训练实践
lo_ong的博客
09-05 5300
引言 PyTorch distributed currently only supports Linux.   这句话是来自 pytorch 官网 的 torch.distributed 部分，说明 pytorch 支持分布式训练，而且只在linux 上支持。   torch.distributed supports three backends, each with dif...
使用系统内NCCL环境重新编译Pytorch
m0_63511417的博客
11-26 1252
使用系统内NCCL环境重新编译Pytorch
PyTorch在AI并行计算集群上部署与使用
qq_27815483的博客
07-06 1397
本文主要介绍pytorch的作用、优势等，源码编译的几种方式以及安装完成使用框架提交训练或推理任务，
隐私保护机器学习的框架-Python开发
05-25
CrypTen是一个基于PyTorch的隐私保护机器学习框架。 其目标是使机器学习从业人员可以访问安全的计算技术。 它目前实现安全多方计算CrypTen是基于PyTorch构建的隐私保护机器学习框架。 其目标是使机器学习从业人员可以访问安全的计算技术。 它目前将安全多方计算作为其安全的计算后端来实现，并为ML研究人员提供了三个主要好处：首先是机器学习。 该框架通过CrypTensor对象呈现协议，该对象的外观和感觉完全类似于PyTorch Tensor。 这允许用户使用自动差异
llama3.1-405B私有化本地部署-多机多卡
qq_41617692的博客
08-06 1500
llama3.1-405B私有化本地部署-多机多卡，多节点部署
大模型推理：vllm多机多卡分布式本地部署1
sunny0121的博客
07-09 2万+
ubuntu中采用docker和vllm进行多机多卡大模型本地部署
Facebook CrypTen多机器多方计算(MPC)环境搭建
Carl_Zhang
03-04 3427
CrypTen多方计算环境搭建 这里主要参考了crypten/scripts/aws_launcher.py代码以及pytorch文档,使用两台虚拟机搭建了多方计算环境. 虚拟机安装 虚拟机工具: VirtualBox 虚拟机系统: ubuntu (server版. 版本:18.04.4) CrypTen环境 参考官网文档进行配置即可(https://github.com/facebookre...
Linux网络配置（超详细）
m0_54804970的博客
02-06 2997
netstat命令用于显示与IP、TCP、UDP和ICMP协议相关的统计数据，一般用于检验本机各端口的网络连接情况。netstat是在内核中访问网络及相关信息的程序，它能提供TCP连接，TCP和UDP监听，进程内存管理的相关报告。
pytorch分布式训练（二init_process_group）
热门推荐
m0_37400316的博客
07-09 3万+
backend str/Backend 是通信所用的后端，可以是"ncll" "gloo"或者是一个torch.distributed.Backend类（Backend.GLOO） init_method str 这个URL指定了如何初始化互相通信的进程 world_size int 执行训练的所有的进程数 rank int this进程的编号，也是其优先级 timeout timedelta 每个进程执行的超时时间，默认是30分钟，这个参数只适用于gloo后端 group_name str 进程所在gr.
pytorch distribute all_reduce方法实验
weixin_43288596的博客
12-06 5220
Distributed communication package - torch.distributed — PyTorch 1.10.0 documentation 变量 结果 实验1 两个process不同次数的all_reduce process1调用结束后会关闭端口，process2会报错 实验2 两个process不同次数的all_reduce，调用次数少的那个process,调用time.sleep process1 的all_reduce连接会
成功解决RuntimeError: [enforce fail at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\c
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-02 1万+
成功解决RuntimeError: [enforce fail at C:\actions-runner\_work\pytorch\pytorch\builder\windows\pytorch\c10\core\impl\alloc_cpu.cpp:72] data. DefaultCPUAllocator: not enough memory: you tried to allocate 180355072 bytes. 目录 解决问题 解决思路 解决方法 T1、减少内存需求 T2
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CV-deeplearning

请博主加个火腿

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值