[Mellanox] 安装MFT并更改网卡IB模式为以太模式

一、IB网卡驱动安装步骤
1、打开驱动下载页面,选择对应操作系统和版本,cpu架构,下载iso、tar包或者源码包都可以。
下载地址:https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/
[图片]

(1) 管理员权限账户登入系统,将OFED 驱动包复制到系统下;
(2) 解压OFED 驱动包:tar -zxvf file.tgz

(注:常见压缩包的解压命令
tar -xvf file.tar
tar -zxvf file.tar.gz
tar -jxvf file.bz2
unrar e file.rar
unzip file.zip)

(3) 进入解压后目录,执行chmod -R 777 *赋予文件可执行权限;
(4) 执行./mlnxofedinstall --without-fw-update --force 进行驱动安装更新;驱动安装时可能会有下图所示提示:
[图片]

这可能是由于系统内核版本升级导致,请增加--add-kernel-support 参数,使驱动程序基于当前内核版本编译安装。
(5) 安装过程中,安装程序会自动检查当前操作系统环境所需工具是否齐备。如检查到缺失的软件包,将在会命令行提示,请按照提示操作。
(6) 驱动更新完成后重启系统,执行ethtool -i ethx 命令再次查看网卡驱动版本,确保系统重启后新驱动依然生效。
2、查看已安装的驱动版本、网卡状态

root@westhpc:~# ofed_info -s
MLNX_OFED_LINUX-24.01-0.3.3.1:

[图片]

[图片]

更改网卡IB模式为以太模式
当我们想要配置Mellanox网卡时,如果出现了下面情况:

$ sudo mst start
mst: command not found

这说明我们的系统中缺少MFT。
MFT是一套管理Mellanox网卡的工具,也是MLEX_OFED中的一部分。如果你不小心搞丢了MFT,可以用下面的方法安装:

  • 去官网下载MFT
    https://network.nvidia.com/products/adapter-software/firmware-tools/
    我下载的版本是mft-4.25.0-62-x86_64-deb.tgz
wget https://www.mellanox.com/downloads/MFT/mft-4.25.0-62-x86_64-deb.tgz
tar xvf mft-4.25.0-62-x86_64-deb.tgz
cd mft-4.25.0-62-x86_64-deb
sudo bash install.sh
sudo mst start

如果安装中出现报错,请update升级并安装所需要的软件包。
如果不报错就说明MFT装好了。
默认地,你的网卡应该是IB模式,如果你的网络是以太网的话,你就需要将网卡转换为以太网模式:

  • 查看你的设备名称
$ ls /dev/mst
mt4119_pciconf0  mt4119_pciconf0.1
  • 查看设备的状态
$ sudo mlxconfig -d /dev/mst/mt4119_pciconf0 query

Device #1:
----------

Device type:    ConnectX5       
Name:           MCX556A-ECA_Ax  
Description:    ConnectX-5 VPI adapter card; EDR IB (100Gb/s) and 100GbE; dual-port QSFP28; PCIe3.0 x16; tall bracket; ROHS R6
Device:         /dev/mst/mt4119_pciconf0

Configurations:                                      N
Mellanox ConnectX 系列网卡支持在 InfiniBand(IB)和以太网(Ethernet)模式之间切换,这种功能基于其双驱动架构设计,允许设备根据应用场景选择合适的网络协议栈[^1]。切换操作主要依赖于 `mlxconfig` 工具对设备固件进行配置更改通过重启设备或重新加载驱动使新配置生效。 以下是具体的切换流程: ### 查询当前模式 使用以下命令查询 Mellanox 网卡当前的链路类型设置: ```bash mlxconfig -d <device_name> q | grep LINK_TYPE ``` 其中 `<device_name>` 是目标设备名称,例如 `mlx5_0` 或 `mlx4_0`,取决于所使用的网卡型号和驱动版本。 ### 切换到 Ethernet 模式 若需将设备从 IB 模式切换为 Ethernet 模式,执行如下命令: ```bash mlxconfig -d <device_name> set LINK_TYPE=ETH ``` 该操作会修改设备的固件配置,使其在下一次加载时启用以太网协议栈。 ### 切换回 InfiniBand 模式 反之,若需要恢复为 InfiniBand 模式,可运行: ```bash mlxconfig -d <device_name> set LINK_TYPE=IB ``` 这将配置设备使用 InfiniBand 协议栈,适用于低延迟、高带宽的 HPC 场景。 ### 重启设备以应用配置 上述配置更改在设备重启或重新加载驱动后生效。可通过卸载重新加载驱动模块实现快速应用: ```bash modprobe -r mlx5_core modprobe mlx5_core ``` 对于某些旧型号(如 ConnectX-3 使用 mlx4 驱动),应使用对应的驱动模块名: ```bash modprobe -r mlx4_core modprobe mlx4_core ``` ### 固化配置至固件 为了确保配置在系统重装或迁移后仍然有效,建议使用 `mlxburn` 工具创建包含所需配置的固件镜像写入设备。此步骤可以跳过操作系统层面的重复配置,提高部署效率。 ### 注意事项 - 在执行模式切换前,应确认网卡硬件支持 VPI(Virtual Protocol Interconnect)功能,常见于 ConnectX-3 及以后的型号。 - 不同版本的 Mellanox OFED(OpenFabrics Enterprise Distribution)可能提供不同版本的工具和驱动,请参考对应文档进行操作。 - 某些应用(如 HP-MPI)在 Linux 环境中运行时依赖特定的 InfiniBand 软件栈,切换IB 模式后应验证相关软件是否兼容正常工作[^2]。 - 若使用 RDMA over Converged Ethernet(RoCE)或其他高级特性,需特别注意内核模块和用户空间库的支持状态。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

guganly

喜欢就请我喝杯咖啡吧!☕️

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值