【pytorch记录】pytorch的分布式 torch.distributed.launch 命令在做什么呢

原创已于 2024-01-25 08:35:55 修改 · 5.4w 阅读

111

322 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #pytorch

于 2022-03-03 20:13:29 首次发布

pytorch的框架使用记录专栏收录该内容

7 篇文章

订阅专栏

本文介绍了PyTorch分布式训练中torch.distributed.launch命令的使用方法，包括多机多卡与单机多卡场景下的配置参数，如nnodes、node_rank、nproc_per_node等，并提及了torch.distributed.launch的废弃及torchrun的替代方案。

部署运行你感兴趣的模型镜像

记录下pytorch分布式训练的运行命令

1 torch.distributed.launch命令介绍

我们在训练分布式时候，会使用到 torch.distributed.launch
可以通过命令，来打印该模块提供的可选参数 python -m torch.distributed.launch --help
usage: launch.py [-h] [--nnodes NNODES] [--node_rank NODE_RANK]
                [--nproc_per_node NPROC_PER_NODE] [--master_addr MASTER_ADDR] [--master_port MASTER_PORT] 
                [--use_env] [-m] [--no_python] [--logdir LOGDIR]
                training_script ...
torch.ditributed.launch参数解析（终端运行命令的参数）：

nnodes：节点的数量，通常一个节点对应一个主机，方便记忆，直接表述为主机
node_rank：节点的序号，从0开始
nproc_per_node：一个节点中显卡的数量
-master_addr：master节点的ip地址，也就是0号主机的IP地址，该参数是为了让其他节点知道0号节点的位，来将自己训练的参数传送过去处理
-master_port：master节点的port号，在不同的节点上master_addr和master_port的设置是一样的，用来进行通信

torch.ditributed.launch相关环境变量解析（代码中os.environ中的参数）：

WORLD_SIZE：os.environ[“WORLD_SIZE”]所有进程的数量
LOCAL_RANK：os.environ[“LOCAL_RANK”]每张显卡在自己主机中的序号，从0开始
RANK：os.environ[“RANK”]进程的序号，一般是1个gpu对应一个进程

2 测试脚本：train.py

import torch
import torch.distributed as dist
import os
import time

print(os.environ)
print("|| MASTER_ADDR:",os.environ["MASTER_ADDR"],
     "|| MASTER_PORT:",os.environ["MASTER_PORT"],
     "|| LOCAL_RANK:",os.environ["LOCAL_RANK"],
     "|| RANK:",os.environ["RANK"], 
     "|| WORLD_SIZE:",os.environ["WORLD_SIZE"])
print()

dist.init_process_group('nccl')
time.sleep(30)
dist.destroy_process_group()

不同版本的torch，运行命令会有所变化，具体自己遇到的变化，在【2.2 单机多卡训练】中记录

2.1 多机多卡的分布式

在0号机器上调用
python -m torch.distributed.launch --nproc_per_node 4 --nnodes 2 --node_rank 0 --master_addr='172.18.39.122' --master_port='29500' train.py
在1号机器上调用
python -m torch.distributed.launch --nproc_per_node 4 --nnodes 2 --node_rank 1 --master_addr='172.18.39.122' --master_port='29500' train.py

注意:

命令中的【–master_addr=‘172.18.39.122’】指的是0号机器的IP，在0号机器上运行的命令中【node_rank】必须为0
只有当【nnodes】个机器全部运行，代码才会进行分布式的训练操作，否则一直处于等待状态

运行结果如下：

environ({'SHELL': '/bin/bash', 'CONDA_EXE': '/home/slam/anaconda3/bin/conda', '_CE_M': '', 'PKG_CONFIG_PATH': ':/usr/local/lib/pkgconfig', 'LANGUAGE': 'zh_CN:zh', 'PWD': '/home/slam/LL-data/2D/pytorch_test', 'LOGNAME': 'slam', 'XDG_SESSION_TYPE': 'tty', 'CONDA_PREFIX': '/home/slam/anaconda3/envs/BeSiNet', 'MOTD_SHOWN': 'pam', 'HOME': '/home/slam', 'LANG': 'zh_CN.UTF-8', 'LS_COLORS': 'rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=00:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.zst=01;31:*.tzst=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.wim=01;31:*.swm=01;31:*.dwm=01;31:*.esd=01;31:*.jpg=01;35:*.jpeg=01;35:*.mjpg=01;35:*.mjpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.webp=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.m4a=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.oga=00;36:*.opus=00;36:*.spx=00;36:*.xspf=00;36:', 'CONDA_PROMPT_MODIFIER': '(BeSiNet) ', 'SSH_CONNECTION': '10.20.1.171 40746 172.18.39.122 22', 'LESSCLOSE': '/usr/bin/lesspipe %s %s', 'XDG_SESSION_CLASS': 'user', 'TERM': 'xterm-256color', '_CE_CONDA': '', 'LESSOPEN': '| /usr/bin/lesspipe %s', 'USER': 'slam', 'CONDA_SHLVL': '2', 'SHLVL': '1', 'XDG_SESSION_ID': '353', 'CONDA_PYTHON_EXE': '/home/slam/anaconda3/bin/python', 'LD_LIBRARY_PATH': '/usr/local/cuda-10.2/lib64:', 'XDG_RUNTIME_DIR': '/run/user/1001', 'SSH_CLIENT': '10.20.1.171 40746 22', 'CONDA_DEFAULT_ENV': 'BeSiNet', 'XDG_DATA_DIRS': '/usr/local/share:/usr/share:/var/lib/snapd/desktop', 'PATH': '/usr/local/cuda-10.2/bin:/home/slam/anaconda3/envs/BeSiNet/bin:/home/slam/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin', 'DBUS_SESSION_BUS_ADDRESS': 'unix:path=/run/user/1001/bus', 'SSH_TTY': '/dev/pts/21', 'CONDA_PREFIX_1': '/home/slam/anaconda3', 'OLDPWD': '/home/slam/LL-data/2D', '_': '/home/slam/anaconda3/envs/BeSiNet/bin/python', 'MASTER_ADDR': '172.18.39.122', 'MASTER_PORT': '29501', 'WORLD_SIZE': '8', 'OMP_NUM_THREADS': '1', 'RANK': '0', 'LOCAL_RANK': '0'})
|| MASTER_ADDR: 172.18.39.122 || MASTER_PORT: 29501 || LOCAL_RANK: 0 || RANK: 0 || WORLD_SIZE: 8

environ({'SHELL': '/bin/bash', 'CONDA_EXE': '/home/slam/anaconda3/bin/conda', '_CE_M': '', 'PKG_CONFIG_PATH': ':/usr/local/lib/pkgconfig', 'LANGUAGE': 'zh_CN:zh', 'PWD': '/home/slam/LL-data/2D/pytorch_test', 'LOGNAME': 'slam', 'XDG_SESSION_TYPE': 'tty', 'CONDA_PREFIX': '/home/slam/anaconda3/envs/BeSiNet', 'MOTD_SHOWN': 'pam', 'HOME': '/home/slam', 'LANG': 'zh_CN.UTF-8', 'LS_COLORS': 'rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=00:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.zst=01;31:*.tzst=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.wim=01;31:*.swm=01;31:*.dwm=01;31:*.esd=01;31:*.jpg=01;35:*.jpeg=01;35:*.mjpg=01;35:*.mjpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.webp=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.m4a=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.oga=00;36:*.opus=00;36:*.spx=00;36:*.xspf=00;36:', 'CONDA_PROMPT_MODIFIER': '(BeSiNet) ', 'SSH_CONNECTION': '10.20.1.171 40746 172.18.39.122 22', 'LESSCLOSE': '/usr/bin/lesspipe %s %s', 'XDG_SESSION_CLASS': 'user', 'TERM': 'xterm-256color', '_CE_CONDA': '', 'LESSOPEN': '| /usr/bin/lesspipe %s', 'USER': 'slam', 'CONDA_SHLVL': '2', 'SHLVL': '1', 'XDG_SESSION_ID': '353', 'CONDA_PYTHON_EXE': '/home/slam/anaconda3/bin/python', 'LD_LIBRARY_PATH': '/usr/local/cuda-10.2/lib64:', 'XDG_RUNTIME_DIR': '/run/user/1001', 'SSH_CLIENT': '10.20.1.171 40746 22', 'CONDA_DEFAULT_ENV': 'BeSiNet', 'XDG_DATA_DIRS': '/usr/local/share:/usr/share:/var/lib/snapd/desktop', 'PATH': '/usr/local/cuda-10.2/bin:/home/slam/anaconda3/envs/BeSiNet/bin:/home/slam/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin', 'DBUS_SESSION_BUS_ADDRESS': 'unix:path=/run/user/1001/bus', 'SSH_TTY': '/dev/pts/21', 'CONDA_PREFIX_1': '/home/slam/anaconda3', 'OLDPWD': '/home/slam/LL-data/2D', '_': '/home/slam/anaconda3/envs/BeSiNet/bin/python', 'MASTER_ADDR': '172.18.39.122', 'MASTER_PORT': '29501', 'WORLD_SIZE': '8', 'OMP_NUM_THREADS': '1', 'RANK': '1', 'LOCAL_RANK': '1'})
|| MASTER_ADDR: 172.18.39.122 || MASTER_PORT: 29501 || LOCAL_RANK: 1 || RANK: 1 || WORLD_SIZE: 8

environ({'SHELL': '/bin/bash', 'CONDA_EXE': '/home/slam/anaconda3/bin/conda', '_CE_M': '', 'PKG_CONFIG_PATH': ':/usr/local/lib/pkgconfig', 'LANGUAGE': 'zh_CN:zh', 'PWD': '/home/slam/LL-data/2D/pytorch_test', 'LOGNAME': 'slam', 'XDG_SESSION_TYPE': 'tty', 'CONDA_PREFIX': '/home/slam/anaconda3/envs/BeSiNet', 'MOTD_SHOWN': 'pam', 'HOME': '/home/slam', 'LANG': 'zh_CN.UTF-8', 'LS_COLORS': 'rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=00:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.zst=01;31:*.tzst=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.wim=01;31:*.swm=01;31:*.dwm=01;31:*.esd=01;31:*.jpg=01;35:*.jpeg=01;35:*.mjpg=01;35:*.mjpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.webp=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.m4a=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.oga=00;36:*.opus=00;36:*.spx=00;36:*.xspf=00;36:', 'CONDA_PROMPT_MODIFIER': '(BeSiNet) ', 'SSH_CONNECTION': '10.20.1.171 40746 172.18.39.122 22', 'LESSCLOSE': '/usr/bin/lesspipe %s %s', 'XDG_SESSION_CLASS': 'user', 'TERM': 'xterm-256color', '_CE_CONDA': '', 'LESSOPEN': '| /usr/bin/lesspipe %s', 'USER': 'slam', 'CONDA_SHLVL': '2', 'SHLVL': '1', 'XDG_SESSION_ID': '353', 'CONDA_PYTHON_EXE': '/home/slam/anaconda3/bin/python', 'LD_LIBRARY_PATH': '/usr/local/cuda-10.2/lib64:', 'XDG_RUNTIME_DIR': '/run/user/1001', 'SSH_CLIENT': '10.20.1.171 40746 22', 'CONDA_DEFAULT_ENV': 'BeSiNet', 'XDG_DATA_DIRS': '/usr/local/share:/usr/share:/var/lib/snapd/desktop', 'PATH': '/usr/local/cuda-10.2/bin:/home/slam/anaconda3/envs/BeSiNet/bin:/home/slam/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin', 'DBUS_SESSION_BUS_ADDRESS': 'unix:path=/run/user/1001/bus', 'SSH_TTY': '/dev/pts/21', 'CONDA_PREFIX_1': '/home/slam/anaconda3', 'OLDPWD': '/home/slam/LL-data/2D', '_': '/home/slam/anaconda3/envs/BeSiNet/bin/python', 'MASTER_ADDR': '172.18.39.122', 'MASTER_PORT': '29501', 'WORLD_SIZE': '8', 'OMP_NUM_THREADS': '1', 'RANK': '2', 'LOCAL_RANK': '2'})
|| MASTER_ADDR: 172.18.39.122 || MASTER_PORT: 29501 || LOCAL_RANK: 2 || RANK: 2 || WORLD_SIZE: 8

environ({'SHELL': '/bin/bash', 'CONDA_EXE': '/home/slam/anaconda3/bin/conda', '_CE_M': '', 'PKG_CONFIG_PATH': ':/usr/local/lib/pkgconfig', 'LANGUAGE': 'zh_CN:zh', 'PWD': '/home/slam/LL-data/2D/pytorch_test', 'LOGNAME': 'slam', 'XDG_SESSION_TYPE': 'tty', 'CONDA_PREFIX': '/home/slam/anaconda3/envs/BeSiNet', 'MOTD_SHOWN': 'pam', 'HOME': '/home/slam', 'LANG': 'zh_CN.UTF-8', 'LS_COLORS': 'rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=00:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.zst=01;31:*.tzst=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.wim=01;31:*.swm=01;31:*.dwm=01;31:*.esd=01;31:*.jpg=01;35:*.jpeg=01;35:*.mjpg=01;35:*.mjpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.webp=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.m4a=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.oga=00;36:*.opus=00;36:*.spx=00;36:*.xspf=00;36:', 'CONDA_PROMPT_MODIFIER': '(BeSiNet) ', 'SSH_CONNECTION': '10.20.1.171 40746 172.18.39.122 22', 'LESSCLOSE': '/usr/bin/lesspipe %s %s', 'XDG_SESSION_CLASS': 'user', 'TERM': 'xterm-256color', '_CE_CONDA': '', 'LESSOPEN': '| /usr/bin/lesspipe %s', 'USER': 'slam', 'CONDA_SHLVL': '2', 'SHLVL': '1', 'XDG_SESSION_ID': '353', 'CONDA_PYTHON_EXE': '/home/slam/anaconda3/bin/python', 'LD_LIBRARY_PATH': '/usr/local/cuda-10.2/lib64:', 'XDG_RUNTIME_DIR': '/run/user/1001', 'SSH_CLIENT': '10.20.1.171 40746 22', 'CONDA_DEFAULT_ENV': 'BeSiNet', 'XDG_DATA_DIRS': '/usr/local/share:/usr/share:/var/lib/snapd/desktop', 'PATH': '/usr/local/cuda-10.2/bin:/home/slam/anaconda3/envs/BeSiNet/bin:/home/slam/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin', 'DBUS_SESSION_BUS_ADDRESS': 'unix:path=/run/user/1001/bus', 'SSH_TTY': '/dev/pts/21', 'CONDA_PREFIX_1': '/home/slam/anaconda3', 'OLDPWD': '/home/slam/LL-data/2D', '_': '/home/slam/anaconda3/envs/BeSiNet/bin/python', 'MASTER_ADDR': '172.18.39.122', 'MASTER_PORT': '29501', 'WORLD_SIZE': '8', 'OMP_NUM_THREADS': '1', 'RANK': '3', 'LOCAL_RANK': '3'})
|| MASTER_ADDR: 172.18.39.122 || MASTER_PORT: 29501 || LOCAL_RANK: 3 || RANK: 3 || WORLD_SIZE: 8

environ({'SHELL': '/bin/bash', 'CONDA_MKL_INTERFACE_LAYER_BACKUP': '', 'CONDA_EXE': '/home/slam/anaconda3/bin/conda', '_CE_M': '', 'PKG_CONFIG_PATH': ':/usr/local/lib/pkgconfig', 'LANGUAGE': 'zh_CN:zh', 'PWD': '/home/slam/workfile_LL/pytorch_test', 'LOGNAME': 'slam', 'XDG_SESSION_TYPE': 'tty', 'CONDA_PREFIX': '/home/slam/anaconda3/envs/pytorch1.5', 'MOTD_SHOWN': 'pam', 'HOME': '/home/slam', 'LANG': 'zh_CN.UTF-8', 'LS_COLORS': 'rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=00:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.zst=01;31:*.tzst=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.wim=01;31:*.swm=01;31:*.dwm=01;31:*.esd=01;31:*.jpg=01;35:*.jpeg=01;35:*.mjpg=01;35:*.mjpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.webp=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.m4a=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.oga=00;36:*.opus=00;36:*.spx=00;36:*.xspf=00;36:', 'CONDA_PROMPT_MODIFIER': '(pytorch1.5) ', 'SSH_CONNECTION': '10.20.1.171 54622 10.40.1.181 22', 'LESSCLOSE': '/usr/bin/lesspipe %s %s', 'XDG_SESSION_CLASS': 'user', 'TERM': 'xterm-256color', '_CE_CONDA': '', 'LESSOPEN': '| /usr/bin/lesspipe %s', 'USER': 'slam', 'CONDA_SHLVL': '2', 'SHLVL': '1', 'XDG_SESSION_ID': '1821', 'CONDA_PYTHON_EXE': '/home/slam/anaconda3/bin/python', 'LD_LIBRARY_PATH': ':/usr/local/cuda/lib64', 'XDG_RUNTIME_DIR': '/run/user/1001', 'SSH_CLIENT': '10.20.1.171 54622 22', 'CONDA_DEFAULT_ENV': 'pytorch1.5', 'CUDA_HOME': '/usr/local/cuda', 'PATH': '/home/slam/anaconda3/envs/pytorch1.5/bin:/home/slam/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/local/cuda/bin', 'DBUS_SESSION_BUS_ADDRESS': 'unix:path=/run/user/1001/bus', 'SSH_TTY': '/dev/pts/5', 'CONDA_PREFIX_1': '/home/slam/anaconda3', 'OLDPWD': '/home/slam', 'MKL_INTERFACE_LAYER': 'LP64,GNU', '_': '/home/slam/anaconda3/envs/pytorch1.5/bin/python', 'MASTER_ADDR': '172.18.39.122', 'MASTER_PORT': '29501', 'WORLD_SIZE': '8', 'OMP_NUM_THREADS': '1', 'RANK': '4', 'LOCAL_RANK': '0'})
|| MASTER_ADDR: 172.18.39.122 || MASTER_PORT: 29501 || LOCAL_RANK: 0 || RANK: 4 || WORLD_SIZE: 8

environ({'SHELL': '/bin/bash', 'CONDA_MKL_INTERFACE_LAYER_BACKUP': '', 'CONDA_EXE': '/home/slam/anaconda3/bin/conda', '_CE_M': '', 'PKG_CONFIG_PATH': ':/usr/local/lib/pkgconfig', 'LANGUAGE': 'zh_CN:zh', 'PWD': '/home/slam/workfile_LL/pytorch_test', 'LOGNAME': 'slam', 'XDG_SESSION_TYPE': 'tty', 'CONDA_PREFIX': '/home/slam/anaconda3/envs/pytorch1.5', 'MOTD_SHOWN': 'pam', 'HOME': '/home/slam', 'LANG': 'zh_CN.UTF-8', 'LS_COLORS': 'rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=00:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.zst=01;31:*.tzst=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.wim=01;31:*.swm=01;31:*.dwm=01;31:*.esd=01;31:*.jpg=01;35:*.jpeg=01;35:*.mjpg=01;35:*.mjpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.webp=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.m4a=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.oga=00;36:*.opus=00;36:*.spx=00;36:*.xspf=00;36:', 'CONDA_PROMPT_MODIFIER': '(pytorch1.5) ', 'SSH_CONNECTION': '10.20.1.171 54622 10.40.1.181 22', 'LESSCLOSE': '/usr/bin/lesspipe %s %s', 'XDG_SESSION_CLASS': 'user', 'TERM': 'xterm-256color', '_CE_CONDA': '', 'LESSOPEN': '| /usr/bin/lesspipe %s', 'USER': 'slam', 'CONDA_SHLVL': '2', 'SHLVL': '1', 'XDG_SESSION_ID': '1821', 'CONDA_PYTHON_EXE': '/home/slam/anaconda3/bin/python', 'LD_LIBRARY_PATH': ':/usr/local/cuda/lib64', 'XDG_RUNTIME_DIR': '/run/user/1001', 'SSH_CLIENT': '10.20.1.171 54622 22', 'CONDA_DEFAULT_ENV': 'pytorch1.5', 'CUDA_HOME': '/usr/local/cuda', 'PATH': '/home/slam/anaconda3/envs/pytorch1.5/bin:/home/slam/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/local/cuda/bin', 'DBUS_SESSION_BUS_ADDRESS': 'unix:path=/run/user/1001/bus', 'SSH_TTY': '/dev/pts/5', 'CONDA_PREFIX_1': '/home/slam/anaconda3', 'OLDPWD': '/home/slam', 'MKL_INTERFACE_LAYER': 'LP64,GNU', '_': '/home/slam/anaconda3/envs/pytorch1.5/bin/python', 'MASTER_ADDR': '172.18.39.122', 'MASTER_PORT': '29501', 'WORLD_SIZE': '8', 'OMP_NUM_THREADS': '1', 'RANK': '5', 'LOCAL_RANK': '1'})
|| MASTER_ADDR: 172.18.39.122 || MASTER_PORT: 29501 || LOCAL_RANK: 1 || RANK: 5 || WORLD_SIZE: 8

environ({'SHELL': '/bin/bash', 'CONDA_MKL_INTERFACE_LAYER_BACKUP': '', 'CONDA_EXE': '/home/slam/anaconda3/bin/conda', '_CE_M': '', 'PKG_CONFIG_PATH': ':/usr/local/lib/pkgconfig', 'LANGUAGE': 'zh_CN:zh', 'PWD': '/home/slam/workfile_LL/pytorch_test', 'LOGNAME': 'slam', 'XDG_SESSION_TYPE': 'tty', 'CONDA_PREFIX': '/home/slam/anaconda3/envs/pytorch1.5', 'MOTD_SHOWN': 'pam', 'HOME': '/home/slam', 'LANG': 'zh_CN.UTF-8', 'LS_COLORS': 'rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=00:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.zst=01;31:*.tzst=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.wim=01;31:*.swm=01;31:*.dwm=01;31:*.esd=01;31:*.jpg=01;35:*.jpeg=01;35:*.mjpg=01;35:*.mjpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.webp=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.m4a=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.oga=00;36:*.opus=00;36:*.spx=00;36:*.xspf=00;36:', 'CONDA_PROMPT_MODIFIER': '(pytorch1.5) ', 'SSH_CONNECTION': '10.20.1.171 54622 10.40.1.181 22', 'LESSCLOSE': '/usr/bin/lesspipe %s %s', 'XDG_SESSION_CLASS': 'user', 'TERM': 'xterm-256color', '_CE_CONDA': '', 'LESSOPEN': '| /usr/bin/lesspipe %s', 'USER': 'slam', 'CONDA_SHLVL': '2', 'SHLVL': '1', 'XDG_SESSION_ID': '1821', 'CONDA_PYTHON_EXE': '/home/slam/anaconda3/bin/python', 'LD_LIBRARY_PATH': ':/usr/local/cuda/lib64', 'XDG_RUNTIME_DIR': '/run/user/1001', 'SSH_CLIENT': '10.20.1.171 54622 22', 'CONDA_DEFAULT_ENV': 'pytorch1.5', 'CUDA_HOME': '/usr/local/cuda', 'PATH': '/home/slam/anaconda3/envs/pytorch1.5/bin:/home/slam/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/local/cuda/bin', 'DBUS_SESSION_BUS_ADDRESS': 'unix:path=/run/user/1001/bus', 'SSH_TTY': '/dev/pts/5', 'CONDA_PREFIX_1': '/home/slam/anaconda3', 'OLDPWD': '/home/slam', 'MKL_INTERFACE_LAYER': 'LP64,GNU', '_': '/home/slam/anaconda3/envs/pytorch1.5/bin/python', 'MASTER_ADDR': '172.18.39.122', 'MASTER_PORT': '29501', 'WORLD_SIZE': '8', 'OMP_NUM_THREADS': '1', 'RANK': '6', 'LOCAL_RANK': '2'})
|| MASTER_ADDR: 172.18.39.122 || MASTER_PORT: 29501 || LOCAL_RANK: 2 || RANK: 6 || WORLD_SIZE: 8

environ({'SHELL': '/bin/bash', 'CONDA_MKL_INTERFACE_LAYER_BACKUP': '', 'CONDA_EXE': '/home/slam/anaconda3/bin/conda', '_CE_M': '', 'PKG_CONFIG_PATH': ':/usr/local/lib/pkgconfig', 'LANGUAGE': 'zh_CN:zh', 'PWD': '/home/slam/workfile_LL/pytorch_test', 'LOGNAME': 'slam', 'XDG_SESSION_TYPE': 'tty', 'CONDA_PREFIX': '/home/slam/anaconda3/envs/pytorch1.5', 'MOTD_SHOWN': 'pam', 'HOME': '/home/slam', 'LANG': 'zh_CN.UTF-8', 'LS_COLORS': 'rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:mi=00:su=37;41:sg=30;43:ca=30;41:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.zst=01;31:*.tzst=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.wim=01;31:*.swm=01;31:*.dwm=01;31:*.esd=01;31:*.jpg=01;35:*.jpeg=01;35:*.mjpg=01;35:*.mjpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.webp=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.m4a=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.oga=00;36:*.opus=00;36:*.spx=00;36:*.xspf=00;36:', 'CONDA_PROMPT_MODIFIER': '(pytorch1.5) ', 'SSH_CONNECTION': '10.20.1.171 54622 10.40.1.181 22', 'LESSCLOSE': '/usr/bin/lesspipe %s %s', 'XDG_SESSION_CLASS': 'user', 'TERM': 'xterm-256color', '_CE_CONDA': '', 'LESSOPEN': '| /usr/bin/lesspipe %s', 'USER': 'slam', 'CONDA_SHLVL': '2', 'SHLVL': '1', 'XDG_SESSION_ID': '1821', 'CONDA_PYTHON_EXE': '/home/slam/anaconda3/bin/python', 'LD_LIBRARY_PATH': ':/usr/local/cuda/lib64', 'XDG_RUNTIME_DIR': '/run/user/1001', 'SSH_CLIENT': '10.20.1.171 54622 22', 'CONDA_DEFAULT_ENV': 'pytorch1.5', 'CUDA_HOME': '/usr/local/cuda', 'PATH': '/home/slam/anaconda3/envs/pytorch1.5/bin:/home/slam/anaconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin:/usr/local/cuda/bin', 'DBUS_SESSION_BUS_ADDRESS': 'unix:path=/run/user/1001/bus', 'SSH_TTY': '/dev/pts/5', 'CONDA_PREFIX_1': '/home/slam/anaconda3', 'OLDPWD': '/home/slam', 'MKL_INTERFACE_LAYER': 'LP64,GNU', '_': '/home/slam/anaconda3/envs/pytorch1.5/bin/python', 'MASTER_ADDR': '172.18.39.122', 'MASTER_PORT': '29501', 'WORLD_SIZE': '8', 'OMP_NUM_THREADS': '1', 'RANK': '7', 'LOCAL_RANK': '3'})
|| MASTER_ADDR: 172.18.39.122 || MASTER_PORT: 29501 || LOCAL_RANK: 3 || RANK: 7 || WORLD_SIZE: 8

2.2 单机多卡训练

只需要说明想要使用GPU的[编号]、[数量]即可。由于不需要不同机器之间的通信，就少了其余4个参数的设定
export CUDA_VISIBLE_DEVICES=0,1
python -m torch.distributed.launch --nproc_per_node=2 train.py

【2023.8.2添加】
这里说明下，上面的命令在pytorch1.x的版本下可正常使用，但在pytorch2.0以后的版本会报错。只需添加 --use_env即可
python -m torch.distributed.launch --nproc_per_node=2 --use_env train.py

【2024.1.22添加】
使用上面命令运行报错了
<font color=black>/home/slam/anaconda3/envs/yolos/lib/python3.7/site-packages/torch/distributed/launch.py:186: FutureWarning: The module torch.distributed.launch is deprecated
and will be removed in future. Use torchrun.
Note that --use_env is set by default in torchrun.
If your script expects `--local_rank` argument to be set, please
change it to read from `os.environ['LOCAL_RANK']` instead. See 
https://pytorch.org/docs/stable/distributed.html#launch-utility for 
further instructions

 FutureWarning,
WARNING:torch.distributed.run:
*****************************************
Setting OMP_NUM_THREADS environment variable for each process to be 1 in default, to avoid your system being overloaded, please further tune the variable for optimal performance in your application as needed. 
*****************************************
原因：torch.distributed.launch的方法被弃用。更换为
export CUDA_VISIBLE_DEVICES=0,1
python -m torch.distributed.run --nproc_per_node=4 train.py

单机单卡训练

当工程提供的是分布式训练代码，但我们只想用单张显卡运行。
机器上只有一张显卡：
python -m torch.distributed.launch train.py
机器上有多张显卡：
export CUDA_VISIBLE_DEVICES=1
python -m torch.distributed.launch train.py

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

15 条评论

nqct1 2024.09.04
请问这个分布式训练是只针对数据并行嘛？
- magic_ll回复nqct1 2024.09.05
  模型训练也是并行的，训练后会将梯度平均，然后在每个模型上进行更新

azhi_learn 2022.12.25
多机多卡训练出现这个问题怎么解决呢 anaconda3/envs/env_torch/lib/python3.7/site-packages/torch/distributed/elastic/rendezvous/static_tcp_rendezvous.py", line 61, in next_rendezvous multi_tenant=True, RuntimeError: Stop_waiting response is expected

Felix xing 2022.11.15
amp是用来处理混合精度，是不是设置fp16之类变量。

weixin_45144486 2022.10.30
您好，我在训练的时候遇到一下问题，该怎么解决呢 raise subprocess.CalledProcessError(returncode=process.returncode, subprocess.CalledProcessError: Command '['/root/miniconda3/bin/python', '-u', 'tools/train_amp.py', '--local_rank=0']' returned non-zero exit status 2.
- weixin_45144486回复weixin_45144486 2022.10.31
  我解决了，将BiSeNet-master/tools/train_amp.py中方法set_model_dist(net):的find_unused_parameters设置为True,

AItairyang 2022.07.28
老师写的很清楚，谢谢

两面包+芝士 2022.04.19
老哥，请问现在是不是都用torchrun了，这个torch.distributed.launch好像在新版本弃用了
- magic_ll回复两面包+芝士 2022.06.27
  是的老哥，yolov5等工程还在用，所以就记录下

weixin_51292095 2022.04.15
非常感谢您的分享，但是我用单张显卡运行分布式训练代码时，还是出现了问题，您可以帮我看一下吗？ torch.distributed.elastic.multiprocessing.errors.ChildFailedError: *************************************** train.py FAILED ======================================= Root Cause: [0]: time: 2022-04-15_19:36:43 rank: 0 (local_rank: 0) exitcode: 2 (pid: 33328) error_file: <N/A> msg: "Process failed with exitcode 2" ======================================= Other Failures: <NO_OTHER_FAILURES> ***************************************
- weixin_50270824回复weixin_51292095 2024.10.08
  你好，我使用两张显卡，为什么也报这种错误Failures: [1]: time : 2024-10-08_12:58:23 host : deploy-a3d65c16-607e-48f3-9a59-1d53d3b85003-5dcd5d4d54-f8pbv rank : 1 (local_rank: 1) exitcode : 1 (pid: 11146) error_file: <N/A> traceback : To enable traceback see: https://pytorch.org/docs/stable/elastic/errors.html ------------------------------------------------------------ Root Cause (first observed failure): [0]: time : 2024-10-08_12:58:23 host : deploy-a3d65c16-607e-48f3-9a59-1d53d3b85003-5dcd5d4d54-f8pbv rank : 0 (local_rank: 0) exitcode : 1 (pid: 11145) error_file: <N/A> traceback : To enable traceback see: https://pytorch.org/docs/stable/elastic/errors.html
- Sallykarry回复weixin_51292095 2023.11.14
  同问，最后解决了吗？
- 吃饭机器人***回复weixin_51292095 2023.07.07
  老哥最后怎么解决的
- 两面包+芝士回复weixin_51292095 2022.04.19
  --nproc_per_node=1 这样试一下