Infiniband的驱动安装与配置

最新推荐文章于 2025-06-01 12:16:31 发布

耗纸Lynk

最新推荐文章于 2025-06-01 12:16:31 发布

阅读量3.6w

点赞数 5

CC 4.0 BY-SA版权

文章标签：硬件 InfiniBand 网络

本文链接：https://blog.youkuaiyun.com/oPrinceme/article/details/51001849

本文提供了一套从安装驱动到配置InfiniBand (IB) 的详细步骤，包括驱动安装、IPoIB配置等内容，适合新手快速上手。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

网上虽然有许多IB的教程但是大多数比较乱，这里结合自己的实际使用整理了下从安装驱动到配置的过程。

1.从官网上找到适合自己硬件的驱动：
http://www.mellanox.com/page/software_overview_ib

文末选择自己的OS环境

文末勾选I Have Read the Above End User License Agreement.
点击接受获得下载链接。

2.以用户名root登录系统安装驱动
检查主机是否安装了HCA：

lspci -v | grep Mellanox

挂载MLNX_OFED镜像

mount -o ro,loop MLNX_OFED_LINUX-2.1-1.0.0-rhel6.4-x86_64.iso /mnt

在/mnt目录下执行如下命令:

./mlnxofedinstall

ps.
1.如果最后显示Failed to update Firmware.是不影响正常使用的。
2.安装过程中不要断网，不然有可能会出错。

会报一堆依赖缺少，安装工具会提醒你用yum install指令，直接复制粘贴搞定。

sudo yum intstall 缺少的部分

3.启动openibd并设为开机启动：

service openibd start
chkconfig openibd on

5.启动子网管理器opensmd并设为开机启动：

service opensmd start
chkconfig opensmd on

6.查看HCA端口状态，若State为Active，则表示正常。

ibstat

7.还可以用如下命令查看HCA端口：

hca_self_test.ofed

8.重启系统

reboot

用如下命令卸载驱动：

/usr/sbin/ofed_uninstall.sh

1.查看HCA端口状态，若State为Active，则表示正常，方可继续执行后面的步骤。

ibstat

2.创建文件/etc/sysconfig/network-scripts/ifcfg-ib0，文件内容如下：

DEVICE=ib0
BOOTPROTO=static
IPADDR=10.0.0.5
NETMASK=255.255.255.0
BROADCAST=10.0.0.255
NETWORK=10.0.0.0
ONBOOT=yes

3.重启网络接口ib0

ifdown ib0
ifup ib0

4.查看ib0的网络配置

ifconfig ib0

5.在两台机器上按如上步骤配置后（不同机器只需更改IPADDR的值即可），可以使用命令ping测试配置是否成功。

6.实际的使用方式和IPv4基本没有区别，如果想要集群之间通过IB通信只需要用IPoIB的地址就行。
e.g.

ssh 10.0.0.5