Horovod分布式搭建——UbuntuServer 22.04

已于 2022-09-27 02:49:04 修改
阅读量842 收藏 2
点赞数 1
文章标签： 分布式 ubuntu
于 2022-08-08 12:42:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yx1405585468/article/details/126225365
版权

Horovod安装文档

**说明：**centos7已停止维护，g++最新版本4.8.5，编译horovod会无法匹配tensorflow最新版本，故此使用Ubuntu Server镜像，centosstream9可直接yum安装g++，cmake，openmpi，会更快捷方便。centosstream9配置同centos，配置见spark集群搭建文档 PySpark开发——Spark分布式集群环境搭建（Linux）_蒲魔树的种子的博客-优快云博客

一、配置单台Ubuntu服务器

  1. 安装源

    # 华为源
http://repo.huaweicloud.com/ubuntu

  2. 国内源（选修）

    # 1. 清华源
vim /etc/apt/sources.list

deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ jammy-security main restricted universe multiverse

  3. 配置单台Ubuntu Server 22.04

    # 1. 登录
user
"password"

# 2. 开机设置Root密码
sudo passwd root
su

# 3. 安装net-tools(ifconfig)
apt install net-tools

# 4. 查看IP地址
ifconfig

# 5. SSH远程登录
ssh user@192.168.172.136

# 6. 设置允许Root用户SSH登录
su
echo "PermitRootLogin yes" >> /etc/ssh/sshd_config
service ssh restart

# 7. 快速ssh
vim /etc/ssh/sshd_config
GSSAPIAuthentication no
UsePAM no
UseDNS no
sudo service ssh restart

# 8. 修改host
vim /etc/hosts
192.168.172.131 node1
192.168.172.132 node2
192.168.172.133 node3

# 9. 创建文件夹
mkdir -p /export/software/
mkdir -p /export/server/

# 10. 时间同步
apt install ntpdate
timedatectl set-timezone Asia/Shanghai
ntpdate ntp.ntsc.ac.cn

# 11. 关机慢
vim /etc/systemd/system.conf
DefaultTimeoutStartSec=10s
DefaultTimeoutStopSec=10s
sudo systemctl daemon-reload

# 12. 关闭防火墙，即SELinux （22.04默认全部关闭）
ufw enable
vim /etc/selinux/config
SELINUX=disabled

  4. 修改静态IP

    ll /etc/netplan
vim /etc/netplan/00-installer-config.yaml

    # This is the network config written by 'subiquity'
network:
  ethernets:
    ens33:
      dhcp4: false
      dhcp6: false
      addresses:
      - 192.168.172.131/24
      routes:
      - to: default
        via: 192.168.172.2
      nameservers:
       addresses: [192.168.10.20,192.168.10.21]
  version: 2

    netplan apply

  5. 配置环境变量

    # 环境变量
vim /etc/profile
vim ~/.bashrc

    # Anaconda
export ANACONDA_HOME=/export/server/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin

# Open MPI
export OMPI_ALLOW_RUN_AS_ROOT=1
export OMPI_ALLOW_RUN_AS_ROOT_CONFIRM=1

# 中文显示
export LC_ALL=zh_CN.UTF-8

    # 激活环境
source /etc/profile
source ~/.bashrc

二、安装g++

  1. Ubuntu指令

    # 1. 安装g++
apt install gcc
apt install g++

三、安装Cmake

  1. Ubuntu指令

    # 1. 安装cmake
apt install cmake

四、安装Open MPI

  1. Ubuntu指令

    # 1. 下载openmpi-4.1.4
cd /export/software/
wget https://download.open-mpi.org/release/open-mpi/v4.1/openmpi-4.1.4.tar.gz

# 2. 解压openmpi-4.1.4
tar -zxvf openmpi-4.1.4.tar.gz -C /export/server/

# 3. 进入解压目录
cd /export/server/openmpi-4.1.4

# 4. 指定编译位置
./configure --enable-orterun-prefix-by-default

# 5. 编译
make -j $(nproc) all

# 6. 安装
make install

# 7. 加载
ldconfig

# 8. 测试
cd /export/server/openmpi-4.1.4/examples
make
./hello_c

五、安装Anaconda3

  1. 下载Anaconda3

    cd /export/software/
wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh

  2. 安装Anaconda3

    # 1. 安装
sh Anaconda3-2022.05-Linux-x86_64.sh

# 2. 指定安装目录
/export/server/anaconda3/

# 3. 初始化init
yes

  3. 配置清华源

    # 配置清华源
vim ~/.condarc

    channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

    # 镜像源生效
conda clean -i

# 重新登录
logout
ssh root@node1

  4. 创建环境，激活

    # 创建horovod虚拟环境
conda create -n horovod python=3.9 -y

# 激活环境
conda activate horovod

# 配置pip源（二选一，华为更快，清华更新）
pip config set global.index-url https://repo.huaweicloud.com/repository/pypi/simple
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

六、安装horovod

  1. 安装tensorflow

    # 安装tensorflow
pip install tensorflow

  2. 安装horovod

    # 安装horovod（初次安装）
pip install horovod

# 安装horovod（非初次安装，禁用缓存）
pip install --no-cache-dir horovod

  3. 若有需要，可以提前安装一下docker

    curl -sSL https://get.daocloud.io/docker | sh

七、复制Linux，配置集群

  1. 同spark配置文档

    # 1. 修改hostname
vim /etc/hostname

# 修改IP地址
ll /etc/netplan/
vim /etc/netplan/00-installer-config.yaml
netplan apply

  2. 免密登录

    # 三台虚拟机相互登录
ssh-keygen -t rsa （node1、node2、node3）
ssh-copy-id node1 （node1、node2、node3）

scp /root/.ssh/authorized_keys node2:/root/.ssh  (分发：仅在node1执行)
scp /root/.ssh/authorized_keys node3:/root/.ssh  (分发：仅在node1执行)
scp /root/.ssh/authorized_keys node4:/root/.ssh  (分发：仅在node1执行)

  3. NFS服务器设置

    # 见Horovod-docker相关章节

Horovod-docker安装文档

一、同一（Horovod安装文档，不用配置环境变量）

二、安装Horovod-docker

  1. 安装docker

    curl -sSL https://get.daocloud.io/docker | sh

  2. 拉取horovod镜像

    docker pull horovod/horovod-cpu

三、复制Linux集群

  1. 修改IP与hostname

    # 1. 修改hostname
vim /etc/hostname
node2/node3

    # 2. 修改静态IP
ll /etc/netplan
vim /etc/netplan/00-installer-config.yaml

    # 静态IP设置
network:
  ethernets:
    ens33:
      dhcp4: false
      dhcp6: false
      addresses:
      - 192.168.172.131/24
      routes:
      - to: default
        via: 192.168.172.2
      nameservers:
       addresses: [192.168.10.20,192.168.10.21]
  version: 2

    # 应用静态IP
netplan apply

  2. 免密登录

    # 三台虚拟机相互登录
ssh-keygen -t rsa （node1、node2、node3）
ssh-copy-id node1 （node1、node2、node3）

scp /root/.ssh/authorized_keys node2:/root/.ssh  (分发：仅在node1执行)
scp /root/.ssh/authorized_keys node3:/root/.ssh  (分发：仅在node1执行)

四、配置nfs文件共享服务器

说明：转自horovod多机多卡启动指南 | 技术自留地 (chaopeng.name)

  1. 配置主机NFS服务：node1

    # ==========================================node1=========================================== #
#1. 安装nfs服务器
sudo apt install nfs-kernel-server

#2. 编写配置文件
sudo vim /etc/exports
## 末尾追加
/export/data/share *(rw,sync,no_subtree_check,no_root_squash)

#3. 创建共享目录
sudo mkdir -p /export/data/share

#4. 重启nfs服务
sudo service nfs-kernel-server restart

#5. 常用命令工具：
## 显示已经mount到本机nfs目录的客户端机器。
sudo showmount -e localhost

## 将配置文件中的目录全部重新export一次！无需重启服务。
sudo exportfs -rv

## 查看NFS的运行状态
sudo nfsstat

## 查看rpc执行信息，可以用于检测rpc运行情况
sudo rpcinfo

## 查看网络端口，NFS默认是使用111端口。
sudo netstat -tu -4

  2. 配置附属机NFS服务：node2、node3、…、node n

    # ===================================node2、node3..======================================== #
#1. 安装nfs客户端
sudo apt install nfs-common

#2. 查看NFS服务器上的共享目录
sudo showmount -e node1

#3. 创建本地挂载目录
sudo mkdir -p /export/data/share

#4. 挂载共享目录(node1不生效就直接写IP地址)
sudo mount -t nfs node1:/export/data/share /export/data/share

#5. 挂载Windows共享网盘命令（针对windows共享）
mount -t cifs -o username=1945,password=.... //192.168.248.1/data/share /export/data/share

五、配置horovod-docker

  1. horovod-docker配置

    # 1. 建立容器
docker run -itd --net=host -v /export/data1:/export/data1 --name horovod --shm-size=126g horovod/horovod-cpu bash

# 2. 运行容器
## 首次运行（安装时）
docker exec -it horovod bash

## 使用运行（非安装）
docker ps -a (获取容器your_id)
docker start your_id
docker exec -it horovod bash

  2. 容器内ssh免密登录（二选一）

    1. 全部免密
    # 三台虚拟机相互登录
ssh-keygen -t rsa （node1、node2、node3）
ssh-copy-id node1 （node1、node2、node3）

scp /root/.ssh/authorized_keys node2:/root/.ssh  (分发：仅在node1执行)
scp /root/.ssh/authorized_keys node3:/root/.ssh  (分发：仅在node1执行)
    1. 有端口的局部免密
      1. 配置负节点 node2 、node3 …
    #1. 修改sshd配置
vim /etc/ssh/sshd_config
#2. 改动如下
Port 10086
PermitRootLogin yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys .ssh/authorized_keys2
#3. 保存配置，启动sshd
/usr/sbin/sshd
#4. 查看ssh是否启动
ps -ef | grep ssh

    ​ 2. 配置 node1 到 node2 / node3 节点的免密登录

    #1. 生成秘钥
ssh-keygen -t rsa
#2. 在node2上创建.ssh文件夹
ssh -p 10086 node2 mkdir -p .ssh
#3. 将公钥添加到B的authorized_keys里
cat /root/.ssh/id_rsa.pub | ssh -p 10086 node2 'cat >> .ssh/authorized_keys'
#测试是否可以免密登录
ssh -p 10086 node2
在virtuoso的菜单栏中集成starrc、calibre
qq_34431979的博客
10-03 2122
那么可以尝试用这样的方式解决：将.cdsinit文件中集成starrc的语句，移动到集成calibre的语句之前。
starrc寄生参数提取与后仿.docx
01-09
starrc寄生参数提取与后仿.docx
StarRC寄生参数提取与后仿指南：集成电路设计的得力助手
gitblog_06619的博客
09-26 1210
StarRC寄生参数提取与后仿指南：集成电路设计的得力助手 【下载地址】StarRC寄生参数提取与后仿指南 StarRC寄生参数提取与后仿指南本仓库提供了一个名为“starrc寄生参数提取与后仿.docx”的资源文件，该文件详细介绍了如何进行StarRC寄生参数提取与后仿的流程和步骤 ...
【StarRC】StarRC抽取寄生RC
zxhtiger84的博客
12-14 5283
提供先进的推理，复杂的指令，更多的创造力。
寄生参数提取——StarRC
tong66666666的博客
07-31 8035
正常跑flow是不会出现任何open net的，因为只要有逻辑连接存在，工具就一定会按照逻辑连接关系进行实际的物理连线。如果发现绕不通就会把若干条net short在一起，而不会放置open不管的。只有signal net之间存在short和open，才会生成这两个文件，如果没有生成说明设计中没有signal net之间的short和open。这里会列出design中的所有short net以及它们的位置信息。因为工具发现open net会自己找一条net去接起来，而这个操作可能并不是实际的连接情况。
StarRC的妙用
i_chip_backend的博客
04-19 7813
StarRC的寄生参数抽取可以作为签收标准，和APR相比通常有如下的优（完）势（备）性以上种种，常见的影响主要是来自于metal filll。metal fill是一种常见的处理芯片流片的密度（density）问题。与常规的APR操作不同，metal fill通常实在calibre（GDS 工具里边）完成的，虽然历史上也流行过在APR工具里边完成的流程。但是从处理效率和独立想上而言，metal fill 确实是calibre等GDS工具的强项。
EDA虚拟系统安装使用.docx
08-08
本文档介绍了 EDA 虚拟系统的安装和使用方法，该系统基于 VMware12 Pro 虚拟机，操作系统为 Red Hat Enterprise Linux 6.7，集成了多种EDA 软件，包括 Synopsys、Cadence、Mentor 等主流厂商的软件。 一、EDA 虚拟...
starRC lef def
最新发布
01-04
### starRC、LEF 和 DEF 文件的 EDA 工具使用教程 #### 关于 starRC 的使用说明 starRC 是由 Synopsys 开发的一款用于寄生参数提取 (PEX) 的工具，在 detail routing 完成之后被调用，以提供精确的电阻电容延迟分析...
【SMIC18-IO综合库版图布局】：物理设计集成与时序闭合策略
![【SMIC18-IO综合库版图布局】：物理设计集成与时序闭合策略]...在当今半导体行业，SMIC18-IO综合库作为一款应用于18纳米工艺节点的集成电路设计综合库，其起源可追溯至对高性能
【GT911电路设计高手】：优化集成电路最佳实践
![【GT911电路设计高手】：优化集成电路最佳实践]...随后，文章着重论述了集成电路性能优化的策略，涵盖信号与电源完整性的提升、功耗控制及高频电路设计考
STARRC使用的脚本
03-11
STARRC脚本，配合readme使用，快速掌握该工具的使用
virtuoso的基本操作步骤.docx
12-06
从打开虚拟机到配置工艺库和设计库到最后创建原理图的详细图文解说
模拟技术中的Star-RCXT简介
10-22
1  Star-RCXT工具介绍 　　Star- RCXT以其高精度、友好的用户界面以及和其它工具良好的结合成为目前业界比较流行的一款寄生参数提取工具，是专门针对0.18mm及以下工艺的寄生参数提取所设计的。它采用了二点五维的几何提取技术，达到了三维的提取精度，但比三维的抽取工具速度快很多，能够快速准确地对上百万门的设计进行全局的寄生参数提取。 2  用Star-RCXT进行寄生参数提取的条件 　　应用Star-RCXT进行精细寄生参数提取，还需要两个与工艺参数有关的文件：mapping文件和ITF（Interconnect Technology Format）文件。ITF文件是由晶圆代工厂直
【集成电路设计实战攻略】：理论与实践无缝对接，打造专业级电路设计
在集成电路设计实战项目章节，本文讨论了项目规划、电路设计实践以及PCB布局布线的关键点。最后，本文展望了制造技术的未来发展以及软件和人工智能在设计领域中的潜在应用。整体而言，本文旨在为集成电路设计提供...
starrtc的使用
loren_123的博客
07-29 4166
1、WebSocket connection to 'wss://ip:端口/' failed: Error in connection establishment: net::ERR_CONNECTION_TIMED_OUT 1. ps -aux | grep Server 查看服务是否开启 2. 如果显示如图所示，直接跳到下一步 ...
Starrc input data
m0_61544122的博客
08-26 5118
starrc所需的输入文件如下图: nxtgrd:提取寄生参数所需的规则文件，对应命令TCAD_GRD_FILE：filepath。可以使用grdgenxo工具将ITF(Interconnt Technology Format)文件转成nxtgrd文件，对应命令如下： grdgenxo xx.itf map_file:将layout database(ndm/def、lef等)层次与nxtgrd的层次形成映射关系，对应命令MAPPING_FILE：filepath。 map file文件中常用的
StarRC常见问题整理
m0_61544122的博客
12-02 1511
我正在「拾陆楼」和朋友们讨论有趣的话题，你⼀起来吧？使用starrc_cmd “错误代码”就能看对应Error或Warnning的解释。
StarRC寄生参数提取与后仿指南
gitblog_06681的博客
09-26 1052
StarRC寄生参数提取与后仿指南 【下载地址】StarRC寄生参数提取与后仿指南 StarRC寄生参数提取与后仿指南本仓库提供了一个名为“starrc寄生参数提取与后仿.docx”的资源文件，该文件详细介绍了如何进行StarRC寄生参数提取与后仿的流程和步骤 ...
文件的读写基本操作
热门推荐
范高伦的博客
09-07 1万+
一、文件是计算机中数据持久化存储的表现形式 读写文件标准操作格式1： 1、打开文件：file1 = open('文件名','读写模式') 2、操作文件 3、关闭文件：file1.close() 文件操作完毕后必须关闭，否则长期保持对文件的连接状态，造成内存溢出的现象发生 读写文件操作格式2： # 1、打开文件 file1 = open('demo.txt','w') # 2、操作文件 file1.write('hello world') # 3、关闭文件 file1.close() 1、打开文件：wi
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值