NVIDIA Mellanox 网卡安装使用手册（中文简易版）

转载 已于 2025-02-27 16:07:51 修改 · 1.5k 阅读 · 3 ·
CC 4.0 BY-SA版权
原文链接：http://www.infohpc.com/Labs/shownews.php?id=16
文章标签：

#网络协议 #AIGC #gpu算力 #网络 #运维 #服务器

于 2025-02-27 16:04:54 首次发布

本文档以Linux 服务器，操作系统Redhat 7.4为例，编写Mellanox网卡安装和使用方法。
1、网卡安装到服务器PCI插槽，使用lspci命令查看硬件是否识别，正常情况下，有类似以下结果输出，如果没有lspci 命令，执行：yum install -y pciutils 安装

[root@nodeb ~]# lspci |grep Mellanox
02:00.0 Infiniband controller: Mellanox Technologies MT27800 Family [ConnectX-5]
[root@nodeb ~]#
[root@nodeb ~]# lspci -vvvxxx -s 02:00.0 |egrep "PN|SN"
            [PN] Part number: MCX555A-ECAT
            [SN] Serial number: MT2025K46953

2、下载网卡驱动，请到驱动下载页面下载对应操作系统和版本
2.1、检查操作系统和版本，cpu架构

[root@nodeb ~]# cat /etc/os-release
NAME="Red Hat Enterprise Linux Server"
VERSION="7.4 (Maipo)"
[root@nodeb ~]# uname -m
x86_64

2.2、打开驱动下载页面，选择对应操作系统和版本，cpu架构，下载iso、tar包或者源码包都可以。
[图片]
2.3、如果想要下载早期版本，请点击 Archive Version 切换。本文档以 5.1-0.6.6.0为例。下载iso镜像文件。
在这里插入图片描述

3、将下载的驱动安装包上传到服务器，挂载iso，进入挂载目录，运行安装脚本 mlnxofedinstall （必须使用root用户运行安装）

./mlnxofedinstall

[图片]

3.1、正常情况下，如上图输入y，之后自动完成安装。有时会遇到需要安装一些依赖包才能继续，如下提示：
[图片]

根据提示安装缺少的包。安装依赖包要使用到 yum 仓库，不会搭建 yum 仓库请参 考 CentOS 中将 DVD 作为默认 yum 源的设置方法。

yum install tcl tk

3.2、还有一种比较少见的情况，系统内核升级过，官方驱动默认匹配的是标准内核，所以不能正常安装驱动，我们需使用参数来解决此问题。

./mlnxofedinstall --add-kernel-support

此过程包含重新编译、生成对应内核的驱动文件、自动安装驱动等过程，所以需要更多的时间（大概20~30分钟），请耐心等待安装完成。

4、如果网卡固件版本低于当前驱动固件版本，则会自动更新固件，驱动安装成功，提示重启驱动 /etc/init.d/openibd restart 如下图：
[图片]

    重启驱动

/etc/init.d/openibd  restart
Unloading HCA driver:                                [  OK  ]
Loading HCA driver and Access Layer:                      [  OK  ]

    查看已安装的驱动版本

[root@nodeb ~]# ofed_info -s
MLNX_OFED_LINUX-5.1-0.6.6.0:

  重启驱动，如果有类似以下报错，直接重启服务器即可解决

[图片]

5、网卡状态
5.1、第一次安装网卡，如果没有连接到交换机，那么网卡状态如下
[图片]

如上图，ib0状态 down（双口卡还有ib1），网卡的SM lid为0，Base lid为65535，Link layer为IB模式
5.2、使用线缆将网卡连接到交换机，大概30秒，端口UP，如下图
[图片]

网卡ib0物理状态LinkUp, 逻辑状态Active，子网管理器SM lid为 2，网卡Base lid为 3

注：本案例交换机SB7800已经开启子网管理器功能，交换机端口速率为EDR 100Gb/s，网卡CX5也是 EDR 100Gb/s，由于线缆是FDR 56G，所以上图的Rate：56，并没有达到100

5.3、如果交换机是SB7890或者是其它不带子网管理器功能的交换机（SB7890，SB7790，SX6025，IS5025），必须在服务器上开启子网管理器，安装好网卡驱动后就可以使用下面命令：

systemctl start opensmd
systemctl enable opensmd

6、完成以上步骤，使用命令 mlnx_tune 检查，所有状态都是 OK，则网卡运行环境OK。

[root@nodeb ~]# mlnx_tune
......
Mellanox Technologies - System Report
Operation System Status
RHEL7.4
3.10.0-693.el7.x86_64
CPU Status
GenuineIntel Intel(R) Xeon(R) CPU E5-2660 v3 @ 2.60GHz Haswell
OK: Frequency 2178.82MHz >>> CPU frequency is below maximum. Install cpupowerutils and run x86_energy_perf_policy performance.
Memory Status
Total: 62.65 GB
Free: 59.74 GB
Hugepages Status
On NUMA 1:
Transparent enabled: always
Transparent defrag: always
Hyper Threading Status
ACTIVE
IRQ Balancer Status
ACTIVE
Firewall Status
NOT PRESENT
IP table Status
INACTIVE
IPv6 table Status
INACTIVE
Driver Status
OK: MLNX_OFED_LINUX-5.1-0.6.6.0 (OFED-5.1-0.6.6)
ConnectX-5 Device Status on PCI 02:00.0
FW version 16.28.1002
OK: PCI Width x16
OK: PCI Speed 8GT/s
PCI Max Payload Size 256
PCI Max Read Request 512
Local CPUs list [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29]
ib0 (Port 1) Status
Link Type ib
OK: Link status Up
Speed FDR
MTU 2044
2020-12-14 15:37:35,878 INFO System info file: /tmp/mlnx_tune_201214_153733.log

7、IB网络连通性测试
7.1、为了更好的演示，我们需要2台服务器，以验证IB网络连通性
[图片]

7.2、验证IB底层网络连通性，使用ibping命令，在nodeb节点启用服务端，noded开启客户端，使用ib网络的 lid 号进行验证
[图片]

ibping -S 启用服务端，ibping -L 3 启用客户端并ping 服务端lid 3，如上图所示，测试成功。
8、给网卡配置IP地址
如果驱动安装完成，没有自动生成网卡配置文件 ifcfg-ib0，则需要手动创建 ifcfg-ib0，参考以下配置：

[root@nodeb ~]# cat /etc/sysconfig/network-scripts/ifcfg-ib0
TYPE=InfiniBand
BOOTPROTO=none
NAME=ib0
DEVICE=ib0
ONBOOT=yes
IPADDR=172.30.1.112
NETMASK=255.255.255.0

8.1、在第二台服务器按照以上步骤，安装驱动和配置相关ifcfg-ib0，第二台服务器的IP地址设置为 172.30.1.114，如果重启网络不生效，建议重启驱动
[图片]

8.2、验证IP地址连通性，直接使用ping 命令
[图片]

9、网卡性能测试
9.1、驱动自带测试工具

ib_write_bw
ib_read_bw
ib_send_bw
ib_write_lat
ib_read_lat
ib_send_lat

下图以写带宽测试为例：
[图片]

由于本案例测试线缆为56G，所以测试的带宽52G，已经达标。在100G线缆环境，测试结果应该在92G以上，最佳状态可以达到97G。
10、IB网卡常用命令演示
查看子网管理器，子网管理器的lid 为 2

[root@nodeb ~]# sminfo
sminfo: sm lid 2 sm guid 0x43f7203000846f0, activity count 808 priority 15 state 3 SMINFO_MASTER

查看 lid 为 2 的节点信息描述，显示为IB交换机 MSB7800

[root@nodeb ~]# smpquery nd 2
Node Description:........MF0;test-7800:MSB7800/U1

查看IB子网中的所有IB交换机，测试环境只有1台SB7800

[root@nodeb ~]# ibswitches
Switch    : 0x043f7203000846f0 ports 37 "MF0;test-7800:MSB7800/U1" enhanced port 0 lid 2 lmc 0

查看IB子网中所有节点，包含服务器和交换机

[root@nodeb ~]# ibnodes
Ca    : 0xf452140300964da0 ports 2 "sinoinfo HCA-1"
Ca    : 0x0c42a10300b4d89c ports 1 "noded HCA-1"
Ca    : 0x0c42a10300b643c6 ports 1 "nodeb HCA-1"
Switch    : 0x043f7203000846f0 ports 37 "MF0;test-7800:MSB7800/U1" enhanced port 0 lid 2 lmc 0

查看IB子网中所有已连接的链路状态，网卡到交换机，交换机到网卡，双向显示，

[root@nodeb ~]# iblinkinfo
CA: sinoinfo HCA-1:
      0xf452140300964da1      1    1[  ] ==( 4X          10.0 Gbps Active/  LinkUp)==>       2   13[  ] "MF0;test-7800:MSB7800/U1" ( Could be 14.0625 Gbps)
      0xf452140300964da2      4    2[  ] ==( 4X          10.0 Gbps Active/  LinkUp)==>       2   17[  ] "MF0;test-7800:MSB7800/U1" ( Could be 14.0625 Gbps)
CA: noded HCA-1:
      0x0c42a10300b4d89c      3    1[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       2   25[  ] "MF0;test-7800:MSB7800/U1" ( Could be 25.78125 Gbps)
Switch: 0x043f7203000846f0 MF0;test-7800:MSB7800/U1:
           2    1[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2    2[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2    3[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2    4[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2    5[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2    6[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2    7[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2    8[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2    9[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   10[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   11[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   12[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   13[  ] ==( 4X          10.0 Gbps Active/  LinkUp)==>       1    1[  ] "sinoinfo HCA-1" ( Could be 14.0625 Gbps)
           2   14[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   15[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   16[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   17[  ] ==( 4X          10.0 Gbps Active/  LinkUp)==>       4    2[  ] "sinoinfo HCA-1" ( Could be 14.0625 Gbps)
           2   18[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   19[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   20[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   21[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       5    1[  ] "nodeb HCA-1" ( Could be 25.78125 Gbps)
           2   22[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   23[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   24[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   25[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       3    1[  ] "noded HCA-1" ( Could be 25.78125 Gbps)
           2   26[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   27[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   28[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   29[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   30[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   31[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   32[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   33[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   34[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   35[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   36[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           2   37[  ] ==(                Down/ Polling)==>             [  ] "" ( )
CA: nodeb HCA-1:
      0x0c42a10300b643c6      5    1[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       2   21[  ] "MF0;test-7800:MSB7800/U1" ( Could be 25.78125 Gbps)

可选操作：网卡模式切换，LINK_TYPE_P1=2切换为以太网 LINK_TYPE_P1=1 切换为IB

[root@sinoinfo ~]# mst start
Starting MST (Mellanox Software Tools) driver set
Loading MST PCI module - Success
Loading MST PCI configuration module - Success
Create devices
[root@sinoinfo ~]#
[root@sinoinfo ~]# mst status -v
MST modules:
    MST PCI module loaded
    MST PCI configuration module loaded
PCI devices:
DEVICE_TYPE            MST                          PCI      RDMA            NET                      NUMA
ConnectX3Pro(rev:0)    /dev/mst/mt4103_pciconf0 
ConnectX3Pro(rev:0)    /dev/mst/mt4103_pci_cr0      04:00.0                                            -1
[root@sinoinfo ~]#
[root@sinoinfo ~]# mlxconfig -d /dev/mst/mt4103_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2
Device #1:
Device type:    ConnectX3Pro
Device:        /dev/mst/mt4103_pciconf0
Configurations:                              Next Boot      New
        LINK_TYPE_P1                        IB(1)          ETH(2)        LINK_TYPE_P2                        IB(1)          ETH(2)     
Apply new Configuration? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.
[root@sinoinfo ~]# reboot

与 NVIDIA产品相关的图片或视频（完整或部分）的版权均归 NVIDIA Corporation 所有。

Mellanox ConnectX HCA InfiniBand 驱动深入解析
数字人生
09-20 196
MLX4_IB驱动程序分析摘要 MLX4_IB是Mellanox ConnectX HCA系列网卡的InfiniBand驱动程序，主要实现RDMA功能与硬件交互。该驱动程序位于mlnx-ofed-kernel-4.9/drivers/infiniband/hw/mlx4/main.c，具有以下核心特性： 核心功能 实现完整的InfiniBand动词接口（Verbs） 支持传统IB协议和RoCE（RDMA over Converged Ethernet） 提供内存管理、队列管理、设备管理等基础功能 支持SR-
Mellanox ConnectX-6-dx智能网卡 openvswitch 流表卸载源码分析
qq_20679687的博客
07-10 2011
目前，智能网卡ovs流表卸载有两种方式netdev_offload_dpdk卸载。通过用户态网卡驱动进行流表卸载。netdev_offload_tc卸载。通过内核态网卡驱动进行流表卸载。tc-flow是一个现有的内核模块。
NVIDIA网卡系列之ConnectX-4用户手册
10-05
NVIDIA网卡系列之ConnectX-4用户手册
mlx rdma网卡指标参数简介
杰特JET的博客
04-17 6138
mlx rdma网卡指标参数简介综述hw_countercounter参考链接 综述 mlx5 driver在linux sysfs下有一系列的mlx网卡参数和计数器分布在/sys/class/infiniband/mlx5_x/ports/1/counters和/sys/class/infiniband/mlx5_x/ports/1/hw_counters目录下，这些参数统计了某种类型的事件发生的次数，如某种错误数，收包数等等。理解这些参数，可以帮助我们更好的理解mlx网卡的运行状态，通过监控，可以更快
关于使用英伟达MLNX网卡的技巧
weixin_44108659的博客
06-03 2288
5.安装成功会出现Installation passed successfully。请注意，如果你的系统内核源不在其默认位置，则应添加内核源（–内核源）的路径。所使用的五代网卡可以转变端口状态，即以太网模式或RDMA端口模式。1.进入英伟达官网选择对应的系统下载。2.挂载ISO镜像文件或解压压缩文件。4.挂载完毕后进入安装步骤。查询RDMA IB数据。打印PCIE网卡数据。
Mellanox网卡驱动安装
weixin_69622946的博客
01-10 3461
如果最后显示Failed to update Firmware.是不影响正常使用的。查看HCA端口状态，若State为Active，则表示正常，方可继续执行后面的步骤。会报一堆依赖缺少，安装工具会提醒你用yum install指令，直接复制粘贴搞定。查看HCA端口状态，若State为Active，则表示正常。安装过程中不要断网，不然有可能会出错。yum intstall 缺少的部分。以用户名root登录系统安装驱动。
Mellanox交换机简明配置手册
08-15
关于Mellanox系列Infiniband交换机的初始化配置以及网口聚合等简单操作的指南。
Mellanox网卡驱动安装 NVIDIA迈络思网卡linux驱动安装 NVIDIA ConnectX-5 适配卡 NVIDIA OFED for Linux 软件包
lcy524514826的博客
04-01 1661
本节介绍如何在安装了 NVIDIA ConnectX-5 适配卡的单台服务器上安装和测试 NVIDIA OFED for Linux 软件包
精选资源
NVIDIA网卡系列之ConnectX-3用户手册
10-05
NVIDIA网卡系列中的ConnectX-3是一种高性能的网卡产品，其用户手册详细介绍了该网卡的功能、安装、配置和使用方法。ConnectX-3系列网卡支持以太网单端口和双端口SFP+适配器卡，提供高速网络连接能力，广泛应用于数据...
mellanox网卡驱动.zip
03-10
1. 解压缩文件：使用解压缩工具打开"mellanox网卡驱动.zip"，将其中的文件解压到一个临时目录。 2. 安装依赖包：找到解压后的"deb文件夹"，使用`dpkg -i`命令逐个安装所有DEB文件，例如：`dpkg -i path/to/...
Mellanox网卡驱动升级 固件管理工具使用介绍 Mellanox网卡驱动下载链接地址 NVIDIA® InfiniBand 驱动程序 NVIDIA® 以太网驱动程序 MFT工具安装 固件管理工具使
最新发布
lcy524514826的博客
04-27 1698
Mellanox固件工具（MFT)https://www.mellanox.com/products/adapter-software/firmware-tools。MFT 使用指导： https://network.nvidia.com/products/adapter-software/firmware-tools/工具，然后查询才知道下载哪个固件；下载后解压进入对应的目录：执行。就是我们要下载的固件版本：进入。选择对应的网卡，点击下载即可。下载界面：选择对应的平台下载。固件升级及管理工具使用介绍。
infiniband交换机配置
12-22
infiniteband交换机配置方法
linux安装IB网卡(mellanox)驱动
bigheart的博客
10-30 3668
下载驱动安装包（.tar） 点击跳转 解压并且安装 tar zxf MLNX_OFED_LINUX-4.1-1.0.2.0-rhel6.5-x86_64.tar.gz cd MLNX_OFED_LINUX-4.1-1.0.2.0-rhel6.5-x86_64 ./mlnxofedinstall /etc/init.d/openibd restart 我出现的错误 此处在驱动安装文档中没有说明，但是有类似错误以及解决方案 我的解决方案 modprobe -r ib_srpt modprobe..
【亲测免费】 Mellanox交换机简明配置手册：助您轻松驾驭高性能网络
gitblog_06674的博客
10-29 1115
Mellanox交换机简明配置手册：助您轻松驾驭高性能网络 【下载地址】Mellanox交换机简明配置手册 本资源文件提供了一份关于Mellanox系列Infiniband交换机的简明配置手册。手册内容涵盖了交换机的初始化配置、网口聚合等基本操作，旨在帮助用户快速上手并掌握Mellanox交换机的基本配置方法 ...
Mellanox IB网卡在Linux系统下驱动安装及服务管理
qq_27815483的博客
06-17 3333
Mellanox IB网卡在Linux系统下驱动安装及服务管理
Mellanox Infiniband卡切换IB/Ethernet模式
weixin_42322181的博客
05-22 3700
6.mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=2(是以太网模式)8..mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P1=1（是IB模式）9..mlxconfig -d /dev/mst/mt4119_pciconf0 set LINK_TYPE_P2=2（是IB模式）注：dev/mst/mt4119是通过mst status查看出来的。3.mst start 启动IB 卡。
【硬件相关】Mellanox网络配置及参数优化
Luxf0的博客
03-04 7332
本文主要介绍Mellanox网络配置、部署管理及相关调优手段，用于后续部署实践参考使用
mellanox&nvidia IB网卡性能调优
qq_27815483的博客
09-11 2357
本文主要介绍mellanox&nvidia ib网卡如何在BIOS及操作系统下进行性能调优
银河麒麟系统下mellanox网卡驱动安装指南
为了使银河麒麟操作系统能够使用Mellanox网卡充分发挥性能，需要进行正确的驱动程序安装。本资源包“mellanox网卡驱动.zip”包含了银河麒麟4.0.2版本下适配的Mellanox网卡驱动程序安装包。 在开始安装之前，理解...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值