IB驱动及IB交换机模式切换

原创 已于 2022-10-27 09:12:26 修改 · 3.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#服务器 #linux #运维

于 2022-10-27 09:07:49 首次发布
博客介绍了IB驱动及IB交换机模式切换的相关内容，包括GPU驱动安装，需注意A100等nvlink版本GPU要安装额外驱动包；IB驱动安装，给出下载链接及安装步骤；还说明了修改IB网络模式，如查询PCIEID、切换为IB模式及重启刷新配置，最后提及测试。

IB驱动及IB交换机模式切换

1、GPU驱动安装

步骤如下：

参考之前安装GPU 驱动：[链接]

注意：A100 等nvlink版本的GPU需要安装额外的驱动包cuda-drivers-fabricmanager，否者无法调用GPU

[root@gpu-a100-2 ~]# yum-config-manager --add-repo https://developer.download.nvidia.cn/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo
Loaded plugins: fastestmirror, nvidia
adding repo from: https://developer.download.nvidia.cn/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo
grabbing file https://developer.download.nvidia.cn/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo to /etc/yum.repos.d/cuda-rhel7.repo
Could not fetch/save url https://developer.download.nvidia.cn/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo to file /etc/yum.repos.d/cuda-rhel7.repo: [Errno 14] curl#7 - "Failed connect to developer.download.nvidia.cn:443; Connection refused"
[root@gpu-a100-2 ~]# source /etc/profile
[root@gpu-a100-2 ~]# yum-config-manager --add-repo https://developer.download.nvidia.cn/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo
Loaded plugins: fastestmirror, nvidia
adding repo from: https://developer.download.nvidia.cn/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo
grabbing file https://developer.download.nvidia.cn/compute/cuda/repos/rhel7/x86_64/cuda-rhel7.repo to /etc/yum.repos.d/cuda-rhel7.repo
repo saved to /etc/yum.repos.d/cuda-rhel7.repo
[root@gpu-a100-2 ~]# yum install cuda-drivers-fabricmanager-460.106.00-1 -y
Loaded plugins: fastestmirror, nvidia
Loading mirror speeds from cached hostfile
cuda-rhel7-x86_64                                                                                                                                        | 3.0 kB  00:00:00     
cuda-rhel7-x86_64/primary_db                                                                                                                             | 1.2 MB  00:00:07     
Resolving Dependencies
--> Running transaction check
---> Package cuda-drivers-fabricmanager.x86_64 0:460.106.00-1 will be installed
--> Processing Dependency: cuda-drivers-fabricmanager-460 = 460.106.00 for package: cuda-drivers-fabricmanager-460.106.00-1.x86_64
--> Running transaction check
---> Package cuda-drivers-fabricmanager-460.x86_64 0:460.106.00-1 will be installed
--> Processing Dependency: nvidia-fabric-manager = 460.106.00 for package: cuda-drivers-fabricmanager-460-460.106.00-1.x86_64
--> Running transaction check
---> Package nvidia-fabric-manager.x86_64 0:460.106.00-1 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

================================================================================================================================================================================
 Package                                                 Arch                            Version                               Repository                                  Size
================================================================================================================================================================================
Installing:
 cuda-drivers-fabricmanager                              x86_64                          460.106.00-1                          cuda-rhel7-x86_64                          3.1 k
Installing for dependencies:
 cuda-drivers-fabricmanager-460                          x86_64                          460.106.00-1                          cuda-rhel7-x86_64                          3.3 k
 nvidia-fabric-manager                                   x86_64                          460.106.00-1                          cuda-rhel7-x86_64                          1.1 M

Transaction Summary
================================================================================================================================================================================
Install  1 Package (+2 Dependent packages)

Total download size: 1.1 M
Installed size: 4.9 M
Downloading packages:
(1/3): cuda-drivers-fabricmanager-460-460.106.00-1.x86_64.rpm                                                                                            | 3.3 kB  00:00:02     
(2/3): cuda-drivers-fabricmanager-460.106.00-1.x86_64.rpm                                                                                                | 3.1 kB  00:00:02     
(3/3): nvidia-fabric-manager-460.106.00-1.x86_64.rpm                                                                                                     | 1.1 MB  00:00:03     
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Total                                                                                                                                           193 kB/s | 1.1 MB  00:00:05     
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : nvidia-fabric-manager-460.106.00-1.x86_64                                                                                                                    1/3 
  Installing : cuda-drivers-fabricmanager-460-460.106.00-1.x86_64                                                                                                           2/3 
  Installing : cuda-drivers-fabricmanager-460.106.00-1.x86_64                                                                                                               3/3 
  Verifying  : nvidia-fabric-manager-460.106.00-1.x86_64                                                                                                                    1/3 
  Verifying  : cuda-drivers-fabricmanager-460.106.00-1.x86_64                                                                                                               2/3 
  Verifying  : cuda-drivers-fabricmanager-460-460.106.00-1.x86_64                                                                                                           3/3 

Installed:
  cuda-drivers-fabricmanager.x86_64 0:460.106.00-1                                                                                                                              

Dependency Installed:
  cuda-drivers-fabricmanager-460.x86_64 0:460.106.00-1                                        nvidia-fabric-manager.x86_64 0:460.106.00-1                                       

Complete!
[root@gpu-a100-2 ~]# systemctl daemon-reload
[root@gpu-a100-2 ~]# systemctl start nvidia-fabricmanager
[root@gpu-a100-2 ~]# systemctl enable nvidia-fabricmanager

2、IB驱动安装

下载链接https://www.mellanox.com/products/infiniband-drivers/linux/mlnx_ofed

在这里插入图片描述

注意：我们现在所有新机器的驱动都用了4.9-4.0.8.0的驱动，4.9的驱动要选择LTS才会有

驱动安装步骤

解压 MLNX_OFED_LINUX-4.9-4.0.8.0-rhel7.6-x86_64.tgz

安装依赖，如缺失会提示，建议使用本地或者相同版本的yum源，避免版本不匹配问题

yum install python-devel pciutils lsof redhat-rpm-config rpm-build libtool tcl gcc-gfortran fuse-libs tcsh tk yum install kernel-devel gcc gtk -y

[root@gpu-a100-4 ~]# cd driver/MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64
[root@gpu-a100-4 MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64]# ./mlnxofedinstall 
Logs dir: /tmp/MLNX_OFED_LINUX.41492.logs
General log file: /tmp/MLNX_OFED_LINUX.41492.logs/general.log
Verifying KMP rpms compatibility with target kernel...
Error: One or more required packages for installing MLNX_OFED_LINUX are missing.
Please install the missing packages using your Linux distribution Package Management tool.
Run:
yum install gtk2
[root@gpu-a100-4 MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64]# yum install gtk2 -y
Loaded plugins: fastestmirror, nvidia
Loading mirror speeds from cached hostfile
local                                                                                                                                                    | 3.6 kB  00:00:00     
Resolving Dependencies
--> Running transaction check
---> Package gtk2.x86_64 0:2.24.31-1.el7 will be installed
--> Finished Dependency Resolution

Dependencies Resolved

================================================================================================================================================================================
 Package                                Arch                                     Version                                          Repository                               Size
================================================================================================================================================================================
Installing:
 gtk2                                   x86_64                                   2.24.31-1.el7                                    local                                   3.4 M

Transaction Summary
================================================================================================================================================================================
Install  1 Package

Total download size: 3.4 M
Installed size: 13 M
Downloading packages:
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
  Installing : gtk2-2.24.31-1.el7.x86_64                                                                                                                                    1/1 
  Verifying  : gtk2-2.24.31-1.el7.x86_64                                                                                                                                    1/1 

Installed:
  gtk2.x86_64 0:2.24.31-1.el7                                                                                                                                                   

Complete!
[root@gpu-a100-4 MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64]# ./mlnxofedinstall 
Logs dir: /tmp/MLNX_OFED_LINUX.43198.logs
General log file: /tmp/MLNX_OFED_LINUX.43198.logs/general.log
Verifying KMP rpms compatibility with target kernel...
This program will install the MLNX_OFED_LINUX package on your machine.
Note that all other Mellanox, OEM, OFED, RDMA or Distribution IB packages will be removed.
Those packages are removed due to conflicts with MLNX_OFED_LINUX, do not reinstall them.

Do you want to continue?[y/N]:y

Uninstalling MLNX_EN driver
Uninstalling the previous version of MLNX_OFED_LINUX

rpm --nosignature -e --allmatches --nodeps mft

Starting MLNX_OFED_LINUX-4.7-3.2.9.0 installation ...

Installing mlnx-ofa_kernel RPM
Preparing...                          ########################################
Updating / installing...
mlnx-ofa_kernel-4.7-OFED.4.7.3.2.9.1.g########################################
Installing kmod-mlnx-ofa_kernel 4.7 RPM
Preparing...                          ########################################
kmod-mlnx-ofa_kernel-4.7-OFED.4.7.3.2.########################################
Installing mlnx-ofa_kernel-devel RPM
Preparing...                          ########################################
Updating / installing...
mlnx-ofa_kernel-devel-4.7-OFED.4.7.3.2########################################
Installing kmod-kernel-mft-mlnx 4.13.3 RPM
Preparing...                          ########################################
kmod-kernel-mft-mlnx-4.13.3-1.rhel7u6 ########################################
Installing knem RPM
Preparing...                          ########################################
Updating / installing...
knem-1.1.3.90mlnx1-OFED.4.7.2.0.7.1.ge########################################
Installing kmod-knem 1.1.3.90mlnx1 RPM
Preparing...                          ########################################
kmod-knem-1.1.3.90mlnx1-OFED.4.7.2.0.7########################################
Installing kmod-iser 4.7 RPM
Preparing...                          ########################################
kmod-iser-4.7-OFED.4.7.3.2.9.1.g457f06########################################
Installing kmod-srp 4.7 RPM
Preparing...                          ########################################
kmod-srp-4.7-OFED.4.7.3.2.9.1.g457f064########################################
Installing kmod-isert 4.7 RPM
Preparing...                          ########################################
kmod-isert-4.7-OFED.4.7.3.2.9.1.g457f0########################################
Installing kmod-rshim 1.16 RPM
Preparing...                          ########################################
kmod-rshim-1.16-0.ga7ad4e6.rhel7u6    ########################################
Installing mpi-selector RPM
Preparing...                          ########################################
Updating / installing...
mpi-selector-1.0.3-1.47329            ########################################
Cleaning up / removing...
mpi-selector-1.0.3-1.54303            ########################################
Installing user level RPMs:
Preparing...                          ########################################
ofed-scripts-4.7-OFED.4.7.3.2.9       ########################################
Preparing...                          ########################################
libibverbs-41mlnx1-OFED.4.7.0.0.2.4732########################################
Preparing...                          ########################################
libibverbs-devel-41mlnx1-OFED.4.7.0.0.########################################
Preparing...                          ########################################
libibverbs-devel-static-41mlnx1-OFED.4########################################
Preparing...                          ########################################
libibverbs-utils-41mlnx1-OFED.4.7.0.0.########################################
Preparing...                          ########################################
libmlx4-41mlnx1-OFED.4.7.3.0.3.47329  ########################################
Preparing...                          ########################################
libmlx4-devel-41mlnx1-OFED.4.7.3.0.3.4########################################
Preparing...                          ########################################
libmlx5-41mlnx1-OFED.4.7.0.3.3.47329  ########################################
Preparing...                          ########################################
libmlx5-devel-41mlnx1-OFED.4.7.0.3.3.4########################################
Preparing...                          ########################################
librxe-41mlnx1-OFED.4.4.2.4.6.47329   ########################################
Preparing...                          ########################################
librxe-devel-static-41mlnx1-OFED.4.4.2########################################
Preparing...                          ########################################
libibcm-41mlnx1-OFED.4.1.0.1.0.47329  ########################################
Preparing...                          ########################################
libibcm-devel-41mlnx1-OFED.4.1.0.1.0.4########################################
Preparing...                          ########################################
libibumad-43.1.1.MLNX20190905.1080879-########################################
Preparing...                          ########################################
libibumad-devel-43.1.1.MLNX20190905.10########################################
Preparing...                          ########################################
libibumad-static-43.1.1.MLNX20190905.1########################################
Preparing...                          ########################################
libibmad-5.4.0.MLNX20190423.1d917ae-0.########################################
Preparing...                          ########################################
libibmad-devel-5.4.0.MLNX20190423.1d91########################################
Preparing...                          ########################################
libibmad-static-5.4.0.MLNX20190423.1d9########################################
Preparing...                          ########################################
ibsim-0.7mlnx1-0.11.g85c342b.47329    ########################################
Preparing...                          ########################################
ibacm-41mlnx1-OFED.4.3.3.0.0.47329    ########################################
Preparing...                          ########################################
librdmacm-41mlnx1-OFED.4.7.3.0.6.47329########################################
Preparing...                          ########################################
librdmacm-utils-41mlnx1-OFED.4.7.3.0.6########################################
Preparing...                          ########################################
librdmacm-devel-41mlnx1-OFED.4.7.3.0.6########################################
Preparing...                          ########################################
opensm-libs-5.5.1.MLNX20191120.0c8dde0########################################
Preparing...                          ########################################
opensm-5.5.1.MLNX20191120.0c8dde0-0.1.########################################
Preparing...                          ########################################
opensm-devel-5.5.1.MLNX20191120.0c8dde########################################
Preparing...                          ########################################
opensm-static-5.5.1.MLNX20191120.0c8dd########################################
Preparing...                          ########################################
dapl-2.1.10mlnx-OFED.3.4.2.1.0.47329  ########################################
Preparing...                          ########################################
dapl-devel-2.1.10mlnx-OFED.3.4.2.1.0.4########################################
Preparing...                          ########################################
dapl-devel-static-2.1.10mlnx-OFED.3.4.########################################
Preparing...                          ########################################
dapl-utils-2.1.10mlnx-OFED.3.4.2.1.0.4########################################
Preparing...                          ########################################
perftest-4.4-0.11.gd240b65.47329      ########################################
Preparing...                          ########################################
mstflint-4.13.0-1.41.g4e8819c.47329   ########################################
Preparing...                          ########################################
mft-4.13.3-6                          ########################################
Preparing...                          ########################################
srptools-41mlnx1-5.47329              ########################################
Preparing...                          ########################################
infiniband-diags-5.4.0.MLNX20190908.5f########################################
Preparing...                          ########################################
ibutils2-2.1.1-0.113.MLNX20191121.g1c2########################################
Preparing...                          ########################################
ibutils-1.5.7.1-0.12.gdcaeae2.47329   ########################################
Preparing...                          ########################################
cc_mgr-1.0-0.46.MLNX20191120.gf30d03a.########################################
Preparing...                          ########################################
dump_pr-1.0-0.42.MLNX20191120.gf30d03a########################################
Preparing...                          ########################################
ar_mgr-1.0-0.47.MLNX20191120.gf30d03a.########################################
Preparing...                          ########################################
ibdump-5.0.0-3.47329                  ########################################
Preparing...                          ########################################
infiniband-diags-compat-5.4.0.MLNX2019########################################
Preparing...                          ########################################
qperf-0.4.9-9.47329                   ########################################
Preparing...                          ########################################
mxm-3.7.3112-1.47329                  ########################################
Preparing...                          ########################################
ucx-1.7.0-1.47329                     ########################################
Preparing...                          ########################################
ucx-devel-1.7.0-1.47329               ########################################
Preparing...                          ########################################
sharp-2.0.0.MLNX20190922.a9ebf22-1.473########################################
Preparing...                          ########################################
ucx-cma-1.7.0-1.47329                 ########################################
Preparing...                          ########################################
ucx-ib-1.7.0-1.47329                  ########################################
Preparing...                          ########################################
ucx-ib-cm-1.7.0-1.47329               ########################################
Preparing...                          ########################################
ucx-rdmacm-1.7.0-1.47329              ########################################
Preparing...                          ########################################
ucx-knem-1.7.0-1.47329                ########################################
Preparing...                          ########################################
hcoll-4.4.2938-1.47329                ########################################
Preparing...                          ########################################
openmpi-4.0.2rc3-1.47329              ########################################
Preparing...                          ########################################
mlnx-ethtool-5.1-1.47329              ########################################
Preparing...                          ########################################
mlnx-iproute2-5.2.0-1.47329           ########################################
Preparing...                          ########################################
mlnxofed-docs-4.7-3.2.9.0             ########################################
Preparing...                          ########################################
mpitests_openmpi-3.2.20-e1a0676.47329 ########################################
Device (2e:00.0):
        2e:00.0 Infiniband controller: Mellanox Technologies MT28908 Family [ConnectX-6]
        Link Width: x16
        PCI Link Speed: 16GT/s

Device (a8:00.0):
        a8:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
        Link Width: x8
        PCI Link Speed: 8GT/s

Device (a8:00.1):
        a8:00.1 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
        Link Width: x8
        PCI Link Speed: 8GT/s

Device (ce:00.0):
        ce:00.0 Infiniband controller: Mellanox Technologies MT28908 Family [ConnectX-6]
        Link Width: x16
        PCI Link Speed: 16GT/s

Installation finished successfully.

Preparing...                          ################################# [100%]
Updating / installing...
   1:mlnx-fw-updater-4.7-3.2.9.0      ################################# [100%]

Added 'RUN_FW_UPDATER_ONBOOT=no to /etc/infiniband/openib.conf

Attempting to perform Firmware update...
Querying Mellanox devices firmware ...

Device #1:
----------

  Device Type:      ConnectX6
  Part Number:      MCX653105A-HDA_Ax
  Description:      ConnectX-6 VPI adapter card; HDR IB (200Gb/s) and 200GbE; single-port QSFP56; PCIe4.0 x16; tall bracket; ROHS R6
  PSID:             MT_0000000223
  PCI Device Name:  2e:00.0
  Base GUID:        b8cef60300025ca0
  Versions:         Current        Available     
     FW             20.31.2006     20.26.4012    
     PXE            3.6.0404       3.5.0805      
     UEFI           14.24.0015     14.19.0017    

  Status:           Up to date

Log File: /tmp/MLNX_OFED_LINUX.43198.logs/fw_update.log
Querying Mellanox devices firmware ...

Device #1:
----------

  Device Type:      ConnectX4LX
  Part Number:      MCX4121A-XCA_Ax
  Description:      ConnectX-4 Lx EN network interface card; 10GbE dual-port SFP28; PCIe3.0 x8; ROHS R6
  PSID:             MT_2420110004
  PCI Device Name:  a8:00.0
  Base MAC:         b8cef6d16caa
  Versions:         Current        Available     
     FW             14.31.2006     14.26.4012    
     PXE            3.6.0404       3.5.0805      
     UEFI           14.24.0015     14.19.0017    

  Status:           Up to date

Log File: /tmp/MLNX_OFED_LINUX.43198.logs/fw_update.log
Querying Mellanox devices firmware ...

Device #1:
----------

  Device Type:      ConnectX6
  Part Number:      MCX653105A-HDA_Ax
  Description:      ConnectX-6 VPI adapter card; HDR IB (200Gb/s) and 200GbE; single-port QSFP56; PCIe4.0 x16; tall bracket; ROHS R6
  PSID:             MT_0000000223
  PCI Device Name:  ce:00.0
  Base GUID:        b8cef60300025d00
  Versions:         Current        Available     
     FW             20.31.2006     20.26.4012    
     PXE            3.6.0404       3.5.0805      
     UEFI           14.24.0015     14.19.0017    

  Status:           Up to date

Log File: /tmp/MLNX_OFED_LINUX.43198.logs/fw_update.log

WARNING: Original /etc/infiniband/openib.conf saved as /etc/infiniband/openib.conf.rpmsave
To load the new driver, run:
/etc/init.d/openibd restart
[root@gpu-a100-4 MLNX_OFED_LINUX-4.7-3.2.9.0-rhel7.6-x86_64]# /etc/init.d/openibd restart

3、修改IB网络模式

查询 PCIEID，对应 200G 的

lspci | grep -i mellanox

切换为 IB 模式

mlxconfig -d PCIEID set LINK_TYPE_P1=1

重启，刷新配置

[root@gpu-a100-4 MLNX_OFED_LINUX-5.4-3.0.3.0-rhel7.6-x86_64]# lspci | grep -i mellanox
2e:00.0 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
a8:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
a8:00.1 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
ce:00.0 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
[root@gpu-a100-4 MLNX_OFED_LINUX-5.4-3.0.3.0-rhel7.6-x86_64]# mlxconfig -d 2e:00.0 set LINK_TYPE_P1=1

Device #1:
----------

Device type:    ConnectX6       
mlxconfig -d ce:00.0 set LINK_TYPE_P1=1Name:           MCX653105A-HDA_Ax
Description:    ConnectX-6 VPI adapter card; HDR IB (200Gb/s) and 200GbE; single-port QSFP56; PCIe4.0 x16; tall bracket; ROHS R6
Device:         2e:00.0         

Configurations:                              Next Boot       New
         LINK_TYPE_P1                        ETH(2)          IB(1)           

 Apply new Configuration? (y/n) [n] : y
-E- Aborted by user. 
[root@gpu-a100-4 MLNX_OFED_LINUX-5.4-3.0.3.0-rhel7.6-x86_64]# mlxconfig -d ce:00.0 set LINK_TYPE_P1=1

Device #1:
----------

Device type:    ConnectX6       
Name:           MCX653105A-HDA_Ax
Description:    ConnectX-6 VPI adapter card; HDR IB (200Gb/s) and 200GbE; single-port QSFP56; PCIe4.0 x16; tall bracket; ROHS R6
Device:         ce:00.0         

Configurations:                              Next Boot       New
         LINK_TYPE_P1                        ETH(2)          IB(1)           

 Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.
[root@gpu-a100-4 MLNX_OFED_LINUX-5.4-3.0.3.0-rhel7.6-x86_64]# lspci | grep -i mellanox
2e:00.0 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
a8:00.0 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
a8:00.1 Ethernet controller: Mellanox Technologies MT27710 Family [ConnectX-4 Lx]
ce:00.0 Ethernet controller: Mellanox Technologies MT28908 Family [ConnectX-6]
[root@gpu-a100-4 MLNX_OFED_LINUX-5.4-3.0.3.0-rhel7.6-x86_64]# mlxconfig -d 2e:00.0 set LINK_TYPE_P1=1

Device #1:
----------

Device type:    ConnectX6       
Name:           MCX653105A-HDA_Ax
Description:    ConnectX-6 VPI adapter card; HDR IB (200Gb/s) and 200GbE; single-port QSFP56; PCIe4.0 x16; tall bracket; ROHS R6
Device:         2e:00.0         

Configurations:                              Next Boot       New
         LINK_TYPE_P1                        ETH(2)          IB(1)           

 Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.

4、测试

nvidia&QM9700&9790 ib NDR交换机FAQ
qq_27815483的博客
07-05 6065
本文注意介绍nvidia QM9700&9790系列交换机相关信息及交换机基本管理，端口说明，各种端口指示灯状态说明，故障排查及规格参数
mellanox&nvidia ib高速网络优化及常见问题FAQ
qq_27815483的博客
06-20 5933
本文档经过多年项目现场实践经验整理而成，汇集了IB网络与以太网络的区别、典型的ib连接速率、网络发展趋势、各型号ib交换机常见文件汇总、ib组网典型拓扑图、IB网络优化、IB网络常见问题，非常具有实战性，希望大家互相转发学习，每天进步一小点。
ubuntu—Mellanox MT28908网卡使用dpdk 一站式！！
weixin_46672177的博客
06-12 2037
6.使用sysctl（sysctl命令用于设置和显示在/proc/sys目录中的内核参数）命令设置vm.nr_hugepages，将大页个数设置为200（200 * 2M=400M，需要确保宿主机有足够可以分配的内存）。Mellanox网卡不需要绑定到dpdk上，使用的就是mlx5驱动，可以直接识别dpdk，绑到dpdk上以后反而无法使用网卡。下载时需要选择自己所用 OS和 CPU架构对应的版本，下载压缩包版本，解压进入。如需绑定网卡到dpdk，即更换网卡的驱动，以igb_uio为例。
IB交换机配置
03-14
IB交换机初始化配置，初始化设置向导，
InfiniBand技术解析（3）：解码 IB “黑话”—— 核心术语与架构概览
最新发布
apple_53311083的博客
10-02 1476
本文系统介绍了InfiniBand（IB）网络的核心概念体系，将其比作高性能计算的超级血管，主要内容包括：1）硬件组件（HCA智能网卡、TCA存储网关、无阻塞交换机和路由器）；2）网络结构（子网管理单元、GUID设备标识符、GID全局地址）；3）通信端点（QP专用通道、CQ完成通知、SRQ共享队列）；4）寻址路由（LID本地导航、SL流量优先级）；5）操作指令（Verb API）。这些术语共同构成了IB网络低延迟、高可靠的运行基础，为理解其工作机制提供了必备的
Mellanox Infiniband卡切换IB/Ethernet模式
weixin_42322181的博客
05-22 3636
6.mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2(是以太网模式)8..mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=1（是IB模式）9..mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P2=2（是IB模式）注：dev/mst/mt4119是通过mst status查看出来的。3.mst start 启动IB 卡。
NVIDIA&Mellanox 双模HCA卡IB&以太模式如何切换？
qq_27815483的博客
07-26 2531
本文主要介绍NVIDIA&Mellanox 双模HCA卡IB&以太模式如何切换？
配置IB交换机
Master
07-27 9965
参考书172页 minicom -s switch-fdc2d8 [standalone: master] > switch-fdc2d8 [standalone: master] > enable switch-fdc2d8 [standalone: master] # show ports type switch-fdc2d8 [standalone: master] # c...
Exadata X8M-2 不再使用IB交换机而换成了网络交换机
dearbear_817的博客
01-16 1270
这里写自定义目录标题 这里写自定义目录标题用之前的IB交换机] Exadata X8-2 及之前的Exadata 一体机，都是使用Infiniband交换机，40Gbps速度 新的ED X8M-2一体机则使用的是Cisco的Nexus 9336C-FX2 Switch 来配合 100Gbps RDMA Ethernet Adapter for Exadata X8M-2 === 这个配合实现RDMA的关键网卡是：7364127 [F] CX5 VPI Dual Port QSFP28 100GbE Adap
使用 Infiniband 实现 RDMA ！IB卡介绍！下载IB 驱动 ！lspci | grep Mell 查看 IB卡！
郑泽林
11-06 4114
文章目录如何实现 RDMA ?为什么使用 InfiniBand 协议得配专门的 IB卡？IB 卡长什么样子？如何查看本机有没有ib卡？下载各种 OS 的 IB 驱动包：       这里是我自己写的 一个关于 “RMDA、IB卡、IB驱动包下载、Ubuntu16.04安装IB驱动、RDMA测试” 等的一个学习目录；可以更方便的进行学习及文章的查找：   ...
IB driver for vsphere5.5
09-18
标签 "vsphere 5.5环境下 IB驱动" 进一步明确了这个驱动的适用场景，即在vSphere 5.5环境中安装和使用InfiniBand硬件，以优化网络性能。 压缩包中的文件 "Mellanox_IB_OFED" 提到了Mellanox，这是一个知名的网络...
IB交换机安装手册
06-21
IB交换机安装手册，主要是为了数据库oracle集群，负责2台数据库心跳链接控制
infiniband交换机配置
12-22
infiniteband交换机配置方法
infiniband linux driver
12-22
infiniband linux driver，从linux 2.6.38的源代码中copy出来的
【RDMA】infiniband网卡安装|ib网卡命令|ibdump 用法说明
小鱼菜鸟的博客
04-20 3662
目录 1. 基础知识 2. 驱动安装 3.配置IP 4. 性能测试 5. 其他问题 RDMA 、InfiniBand、IB卡、IB驱动的关系 ibdump 用法说明 原文：https://www.cnblogs.com/sctb/p/13179542.html 最近多次安装、使用infiniband网卡，每次都要到处寻找相关资...
使用IB驱动自带的工具对mellanox&nvidia IB网络进行基准测试
qq_27815483的博客
09-10 2310
使用IB驱动自带的工具对mellanox&nvidia IB网络进行基准测试
ib网卡命令_IB交换机配置命令总结
weixin_39706367的博客
12-21 3182
串口通过远程CRT登录，波特率9600用户名和密码都是adminDo you want to use the wizard for initial configuration?选择no打开ip routingsx1012 [standalone: master] (config) # ip routing设置mgmt0端口的ip地址sx1012 [standalone: master] (conf...
配置InfiniBand (IB) 和 RDMA over Converged Ethernet (RoCE) 网络
NTD_huachen的博客
09-08 3405
配置InfiniBand (IB) 和 RDMA over Converged Ethernet (RoCE) 网络。
ib卡打流
05-11
<think>好的，用户想了解InfiniBand卡的数据流配置或问题解决方案。首先，我需要回顾一下之前提供的引用内容，看看哪些信息相关。引用[3]提到InfiniBand基于交换架构，克服了共享总线的局限性，这可能与配置中的架构设计有关。引用[2]讨论了IPoIB、SRP等协议，这些协议在数据传输中起关键作用，应该涉及配置步骤。引用[1]则强调InfiniBand的重要性，可能不需要直接引用。 接下来，用户的问题需要分两部分处理：配置和问题解决。配置部分应包括硬件连接、协议选择、网络设置、驱动安装等。问题解决部分需要常见故障排查，如连接失败、性能问题、协议兼容性等。 需要确保使用正确的协议配置步骤，比如IPoIB的配置可能需要设置子网管理器和IP地址。RDMA的启用可能需要特定驱动和工具。在问题解决方案中，检查链路状态、子网管理器运行情况、固件版本都是关键点。同时，引用[2]提到的高级协议如SRP和iSER可能需要不同的配置方法，应提及如何切换或调整这些协议。 还要注意用户可能遇到的实际问题，比如性能不达标，这时候需要检查MTU设置、协议是否最优，或者是否存在网络拥塞。引用[2]中的RDMA优势可以用来解释为什么使用这些协议能提升性能。 最后，生成的相关问题需要围绕用户可能的后续疑问，比如优化性能、协议选择、故障排查工具等。确保问题覆盖用户可能深入的方向，帮助其进一步探索。</think>### InfiniBand卡数据流配置与问题解决方案 #### 一、InfiniBand数据流配置流程 1. **硬件连接与拓扑验证** - 使用`iblinkinfo`命令检查物理链路状态，确保交换机与网卡端口连接正常 - 验证子网管理器运行状态： ```bash opensm -B # 启动子网管理器 ibnetdiscover # 查看网络拓扑 ``` 2. **协议层配置** - **IPoIB基础配置** 通过`/etc/sysconfig/network-scripts/`修改网卡配置文件： ```bash DEVICE=ib0 BOOTPROTO=static IPADDR=192.168.1.10 NETMASK=255.255.255.0 TYPE=InfiniBand CONNECTED_MODE=datagram # 或connected ``` 支持两种模式：$datagram$（默认）提供兼容性，$connected$模式提升性能但增加开销[^2] - **RDMA高级配置** 启用RDMA需要加载内核模块： ```bash modprobe ib_umad ib_uverbs ibv_devinfo # 验证设备状态 ``` 配置RDMA服务： ```bash systemctl start rdma ``` 3. **性能调优参数** - 调整MTU值（最大支持4096字节）： ```bash ip link set ib0 mtu 4096 ``` - 设置CPU亲和性： ```bash ibdev2netdev -v | grep mlx5 # 获取设备与中断号对应关系 echo "mask=0xffff" > /proc/irq/<中断号>/smp_affinity ``` #### 二、常见问题解决方案 1. **链路层故障** - **现象**：`ibstatus`显示`LinkDown` - **排查步骤**： 1. 检查光模块兼容性：`ethtool -m ib0` 2. 验证子网管理器日志：`journalctl -u opensm` 3. 使用诊断工具：`ibdiagnet --routing_engine` 2. **性能不达标** - **典型场景**：带宽低于理论值（如100Gbps设备实测<90Gbps） - **优化方案**： - 验证协议模式：将IPoIB切换为connected模式提升吞吐量[^2] - 启用XRC传输模式： ```bash ibv_rc_pingpong -d mlx5_0 -g 0 -x 3 ``` - 调整QP（队列对）数量： $$ QP_{max} = \frac{内存带宽(GB/s)}{4KB \times 操作频率(Hz)} $$ 3. **协议兼容性问题** - **iSER/iSER-MC配置冲突**： 在NVMe-oF场景下，需确保`libibverbs`与`librdmacm`版本匹配： ```bash ibv_devices # 显示设备兼容性列表 nvme discover -t rdma -a <目标IP> -s 4420 ``` #### 三、监控与诊断工具 | 工具名称 | 功能描述 | 关键参数示例 | |----------------|-----------------------------|--------------------------------| | `perfquery` | 端口计数器监控 | `-G`显示全局计数器 | | `ibv_rc_pingpong` | RDMA延迟测试 | `-s 4096`设置消息大小 | | `ib_write_bw` | 带宽基准测试 | `-a`启用原子操作 | | `ibdump` | 数据包捕获 | `-i ib0 -w capture.pcap` |
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值