使用iblinkinfo命令来检查IB链路的联网拓扑

最新推荐文章于 2025-10-28 09:42:45 发布
原创 最新推荐文章于 2025-10-28 09:42:45 发布 · 4.4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#iblinkinfo #ib #拓扑

本文介绍了使用iblinkinfo命令检查InfiniBand(IB)链路的联网拓扑的方法，包括一个IB交换机和两个IB交换机的情况。通过具体实例展示了不同主机与交换机之间的连接状态及速率。

使用iblinkinfo命令来检查IB链路的联网拓扑


一个IB交换机情况下的iblinkinfo

[root@rac2 ~]# iblinkinfo
CA: rac1 mlx4_0:  ----->>>>格式为"CA: 主机名 HCA卡"
      0x7cfe900300917f11      2    1[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       1   35[  ] "MF0;switch-138276:SX6036/U1" ( )
CA: host1 mlx4_0:  ----->>>>格式为"CA: 主机名 HCA卡"
      0x7cfe90030016c231      3    1[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       1   31[  ] "MF0;switch-138276:SX6036/U1" ( )
Switch: 0x7cfe900300f17940 MF0;switch-138276:SX6036/U1:----------------------------->>>>此行是ib交换机信息。
           1    1[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    2[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    3[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    4[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    5[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    6[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    7[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    8[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    9[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   10[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   11[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   12[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   13[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   14[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   15[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   16[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   17[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   18[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   19[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   20[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   21[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   22[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   23[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   24[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   25[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   26[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   27[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   28[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   29[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   30[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   31[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       3    1[  ] "host1 mlx4_0" ( )--->>>交换机的31号端口链接到HCA的1号端口，HCA的LID为3
           1   32[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   33[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       4    1[  ] "rac2 mlx4_0" ( )--->>>交换机的33号端口链接到HCA的1号端口，HCA的LID为4
           1   34[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   35[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       2    1[  ] "rac1 mlx4_0" ( )--->>>交换机的35号端口链接到HCA的1号端口，HCA的LID为2
           1   36[  ] ==(                Down/ Polling)==>             [  ] "" ( )  ----->>>>>>本行第二列的36表示是36口的交换机。
CA: rac2 mlx4_0:
      0x248a0703005d07f1      4    1[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       1   33[  ] "MF0;switch-138276:SX6036/U1" ( )
[root@rac2 ~]#


两个IB交换机情况下的iblinkinfo

[root@host1 ~]# iblinkinfo
CA: rac1 HCA-2:
      0x7cfe900300917ed1      4    1[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       7   35[  ] "MF0;switch-cad412:SX6036/U1" ( )
CA: host1 HCA-2:
      0x7cfe900300917da1      8    1[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       7   31[  ] "MF0;switch-cad412:SX6036/U1" ( )
CA: rac1 HCA-1:
      0x7cfe900300917f11      2    1[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       1   35[  ] "MF0;switch-138276:SX6036/U1" ( )
Switch: 0x7cfe900300ef40c0 MF0;switch-cad412:SX6036/U1:
           7    1[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7    2[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7    3[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7    4[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7    5[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7    6[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7    7[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7    8[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7    9[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   10[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   11[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       1   11[  ] "MF0;switch-138276:SX6036/U1" ( )
           7   12[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   13[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   14[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   15[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   16[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   17[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   18[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   19[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   20[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   21[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   22[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   23[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   24[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   25[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   26[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   27[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   28[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   29[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   30[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   31[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       8    1[  ] "host1 HCA-2" ( )
           7   32[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   33[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   34[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           7   35[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       4    1[  ] "rac1 HCA-2" ( )
           7   36[  ] ==(                Down/ Polling)==>             [  ] "" ( )
Switch: 0x7cfe900300f17940 MF0;switch-138276:SX6036/U1:
           1    1[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    2[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    3[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    4[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    5[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    6[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    7[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    8[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1    9[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   10[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   11[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       7   11[  ] "MF0;switch-cad412:SX6036/U1" ( )
           1   12[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   13[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   14[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   15[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   16[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   17[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   18[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   19[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   20[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   21[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   22[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   23[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   24[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   25[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   26[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   27[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   28[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   29[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   30[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   31[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       3    1[  ] "host1 HCA-1" ( )
           1   32[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   33[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   34[  ] ==(                Down/ Polling)==>             [  ] "" ( )
           1   35[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       2    1[  ] "rac1 HCA-1" ( )
           1   36[  ] ==(                Down/ Polling)==>             [  ] "" ( )
CA: host1 HCA-1:
      0x7cfe90030016c231      3    1[  ] ==( 4X       14.0625 Gbps Active/  LinkUp)==>       1   31[  ] "MF0;switch-138276:SX6036/U1" ( )
[root@host1 ~]#



【网络】叶脊(Spine-Leaf)网络拓扑下全三层网络设计与实践(二) - 网络规划
因吹斯汀
08-22 1万+
2. 全三层架构设计思路 采用全三层网络架构设计的出发点是： 使用尽量少的交换机高级功能，可以尽可能减少由于功能bug故障造成的问题； 使用尽量少的网络协议，以兼容不通厂商的网络设备 实现简单，易于维护，绝对可靠的路由协议； 通过控制路由来调度流量，尽量减少设备或协议的故障域； 牺牲高级功能带来的便捷，得到更高的可用性和性能； 由上述原则，本文的设计选择只使用静态路由和BGP...
系统架构师笔记——计算机网络
现代魔法
08-14 2259
备战软考
【RDMA】InfiniBand IB常用命令|历史命令记录
小鱼菜鸟的博客
07-22 9133
目录 0、使用命令记录 1、常规 IB 监视命令 2、常规 IB 性能测试命令 3、光纤网络诊断工具 4、查询并报告非零 IB 端口计数器 5、其常用指令 作者:bandaoyu,随时更新，源文地址：https://blog.youkuaiyun.com/bandaoyu/article/details/115798693 RDMA 常用命令 H...
Infiniband HDR 网卡、交换机使用向导
weixin_41687819的博客
04-16 4396
Infiniband HDR 200Gb 产品开箱使用向导，包括OFED驱动安装，端口状态查看，RDMA基础性能测试。
第十七篇: `ibstat` & `ibping` - InfiniBand网络的“心跳检测”
最新发布
weixin_42587823的博客
10-28 1001
摘要：本文介绍了ibstat和ibping两个InfiniBand网络诊断工具的使用方法。ibstat用于检查本地IB网卡状态，重点关注State、Physical state和Rate三个关键指标；ibping则测试节点间RDMA通信质量，通过丢包率和延迟判断网络健康状况。文章还提供了针对LinkDown等常见问题的物理排错SOP，并强调在分布式训练前进行网络检查的重要性。这些工具是处理NCCL/MPI挂起、链路故障等问题的第一响应手段。
Mellanox&nvidia ib高速网络常用命令总结
qq_27815483的博客
06-19 4452
Mellanox&nvidia ib高速网络常用命令总结，希望能够帮助每位从事高速网络运维实施的人员
IB网卡常用命令
dangdanding的专栏
07-13 2383
http://www.h3c.com/cn/d_202007/1317229_30005_0.htm
【硬件相关】IB网/以太网基础介绍及部署实践
热门推荐
Luxf0的博客
03-02 1万+
Infiniband是一种高带宽、低延迟、高可靠性的开放标准网络互连技术，这项技术是由 IBTA (InfiniBand Trade Association)定义的，该技术在超级计算机集群领域得到了广泛的应用。 本文主要介绍IB网/以太网基础及部署实践过程
ZigBee无线网络通信
huxyc的博客
02-20 1768
ZigBee 技术在 IEEE 802.15.4 的推动下，不仅在工业、农业、军事、环境、医疗等传统领域取得了成功的应用，在未来其应用可能涉及人类日常生活和社会生产活动的所有领域，真正实现无处不在的网络。
【数据库】OceanBase数据库及数据库上公有云方案
weixin_49199313的博客
07-03 883
​：性能数据基于OceanBase 4.3.5版本及HyBench/TPC-C测试结果，实际表现需结合硬件配置（如NVMe SSD、多核CPU）及参数调优。以下是 OceanBase 数据库的。（限制AP占用TP资源）
IB交换机配置
03-14
IB交换机初始化配置，初始化设置向导，
IB交换机安装手册
06-21
IB交换机安装手册，主要是为了数据库oracle集群，负责2台数据库心跳链接控制
IB(InfiniBand网卡性能测试结果)
05-15
InfiniBand网卡的性能测试结果,可以得到当前最快的InfiniBand网卡的性能指标。
如何建立gpu集群
03-17
编写测试脚本验证单节点和多节点的计算性能，比如跑一个基准测试或训练一个小模型，检查是否所有GPU都被正确识别和使用。 维护和优化方面，监控工具如Prometheus加上Grafana可以实时查看GPU使用率、温度和网络状态...
IB交换机配置命令总结
weixin_30654583的博客
09-27 5679
串口通过远程CRT登录，波特率9600用户名和密码都是adminDo you want to use the wizard for initial configuration?选择no打开ip routingsx1012 [standalone: master] (config) # ip routing 设置mgmt0端口的ip地址sx1012 [standalone: master] (c...
【ib网络】通过命令控制ib交换机端口down/up
zerotoall的博客
07-13 2471
【ib网络】通过命令控制ib交换机端口down/up
IB网络常见命令（转载）
qq_32379851的博客
11-15 1661
ibcheckportstate, ibcheckportwidth, ibcheckstate, or ibcheckwidth 验证已链接但不活动的 IB 端口、面向 1x (2.0 Gbps) 链路带宽的端口、IB 子网中已链接但不活动的端口或 IB 子网中的 lx 链路。ib_write_bw 或 ib_write_bw_postlist 测试 RDMA 写处理，确定一次显示一个 I/O 请求的带宽或显示一系列 I/O 请求的发布列表带宽。
FAQ-IB常用命令
HHFQ的博客
12-07 785
IB常用命令。
ib命令安装以及使用
10-22
### 安装方法 以在Red Hat 7.6系统上安装为例，需要安装IB驱动，以下是具体步骤： 1. 准备Linux操作系统7.6以及驱动文件MLNX_OFED_LINUX - 4.6 - 1.0.1.1 - rhel7.6 - x86_64.tgz。 2. 解压缩驱动文件： ```bash tar -xzvf MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64.tgz ``` 解压缩后会生成目录MLNX_OFED_LINUX - 4.6 - 1.0.1.1 - rhel7.6 - x86_64。 3. 安装依赖rpm包： ```bash yum install -y pciutils gtk2 atk cairo gcc-gfortran tcsh lsof tcl tk ``` 4. 进入驱动目录并执行安装脚本： ```bash cd MLNX_OFED_LINUX-4.6-1.0.1.1-rhel7.6-x86_64 ./mlnxofedinstall ``` 5. 安装完成后重启机器： ```bash reboot ``` 6. 验证安装，通过`ip a`命令看到相关ib网卡信息即可。 7. 配置网络（根据实际需要），相关配置文件示例如下： - IB卡配置文件： ```plaintext TYPE=InfiniBand NAME=ib0 DEVICE=ib0 ONBOOT=yes MASTER=bondib0 SLAVE=yes IPV6INIT=no CONNECTED_MODE=yes MTU=9000 NM_CONTROLLED=no ``` - bond配置文件： ```plaintext DEVICE=bondib0 TYPE=Bond BONDING_MASTER=yes BOOTPROTO=none DEFROUTE=no IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME=bondib0 ONBOOT=yes BONDING_OPTS="mode=1 miimon=100 downdelay=0 updelay=0 num_grat_arp=100" IPADDR=192.168.1.38 NETMASK=255.255.255.0 NM_CONTROLLED=no MTU=9000 ``` 网络配置完成后重启网络服务。 ### 使用方法 常见的IB命令及其使用方法如下： - `ibdev2netdev`：用于查看网卡和IB卡名映射关系，直接在终端输入该命令即可： ```bash ibdev2netdev ``` - `iblinkinfo`：可用于查看IB网络拓扑信息，同样直接在终端输入命令： ```bash iblinkinfo ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值