Mellanox执行ibdev2netdev报错‘/sys/class/infiniband/‘: No such file or directory？ （insmod ib_core.ko）

原创 已于 2025-03-02 02:25:22 修改 · 562 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Mellanox

于 2025-03-02 02:18:07 首次发布

背景

在实际工作中会偶尔遇到 ibdev2netdev没有的情况，有可能是部署环境中的问题，也可能是调试环境的问题。

现象

执行ibdev2netdev 的时候提示没有/sys/class/infiniband/目录，并且报错：
在这里插入图片描述

原因

/sys/class/infiniband/这个是ib_core的ko创建到系统的。要么是ib_core加载异常要么是没有加载

解决办法

加载ib_core.ko
可以直接insmod，或者非调试情况用modprobe ib_core.ko

实操

在这里插入图片描述
可以看到已经有该目录，但是没有具体设备。
没有具体设备是其他的问题，因为设备是mlx5驱动层创建的，需要额外加载mlx5_ib.ko，加载后可以看到具体的设备
在这里插入图片描述

infiniband verbs
12-22
infiniband verbs，从openfabric联盟网站下载来的
【小工具pcie2netdev】一次获取Mellanox网卡eth、ib、IP、PCIe等信息的命令（lspci ＞ bdf ＞ /sys/class/pci_bus ＞ eth ＞ ibdev）
技术札记
05-05 1303
经常为了获取某个IB设备的信息需要多个命令，并且命令之间需要获取PCIe的BDF、获取Eth名字、获取ib名字，然后查询。效率低而且不全面。特此写了个小工具一把刷出来。
【微知】Mellanox网卡ib设备对应的信息如何快速既查看eth网卡名也查看fw版本也查看网卡型号？(ibdev2netdev -v)
技术札记
05-17 608
本文介绍了如何快速查看InfiniBand设备的网络接口名称、固件版本信息以及网卡型号。通过使用ibdev2netdev -v命令，可以一步完成以下操作：首先获取IB设备的网络接口名称，接着通过ethtool -i获取固件版本信息，最后通过lspci从ethtool中查看网卡型号。这种方法简化了操作流程，提高了效率。文章还提供了实际操作截图，帮助用户更直观地理解和使用该命令。
【NVIDIA-B200】生产实战-解决 ibdev2netdev 无输出问题
最新发布
jundao1997的专栏
09-15 131
最常见原因：Mellanox OFED 未安装 / 安装失败，导致工具链缺失或驱动未加载。次常见原因：IB 驱动模块未加载，或硬件未被系统识别。特殊场景：网卡未配置为 RoCE 模式，或网络配置（如 MTU）不满足 RoCE 要求。按照「OFED 安装 → 硬件识别 → 驱动加载 → IB 设备识别 → RoCE 配置」的顺序逐步排查，通常能定位并解决无输出的问题。
内核态使用infiniband
Juffi的专栏
05-17 4602
Infiniband驱动介绍：    Infiniband 驱动，包括内核对硬件的驱动和用户层的驱动。      CentOS6.5内核包含了对Infiniband HCA的支持，所以插上卡后，开机会有mlx4_core和mlx4_ib两个内核模块被加载，在/sys/calss/infiniband/下会有mlx4_0设备。但是没有支持用户使用的程序如果不安装用户层驱动。可以在官网下载安装用户
【RDMA】InfiniBand IB常用命令|历史命令记录
小鱼菜鸟的博客
07-22 9059
目录 0、使用命令记录 1、常规 IB 监视命令 2、常规 IB 性能测试命令 3、光纤网络诊断工具 4、查询并报告非零 IB 端口计数器 5、其常用指令 作者:bandaoyu,随时更新，源文地址：https://blog.csdn.net/bandaoyu/article/details/115798693 RDMA 常用命令 H...
net_mlx5: cannot load glue library: libibverbs.so.1: cannot open shared object file: No such file or directory net_mlx5: cannot initialize PMD due to missing run-time dependency on rdma-core libraries (libibverbs, libmlx5) PMD: net_mlx4: cannot load glue library: libibverbs.so.1: cannot open shared object file: No such file or directory PMD: net_mlx4: cannot initialize PMD due to missing run-time dependency on rdma-core libraries (libibverbs, libmlx4) br-ex br-int
05-05
#### 问题2: 重复创建br-int桥报错 1. **检查现有网桥** ```bash ovs-vsctl list-br # 列出所有已存在的网桥 ``` 2. **删除重复网桥** ```bash ovs-vsctl del-br br-int # 强制删除已存在的br-int网桥 ``` 3...
【微知】如何将Linux PCIe驱动与PCIe设备解绑？（echo 0000:01:00.0 ＞ /sys/bus/pci/drivers/mlx5_core/unbind）
技术札记
03-06 574
有些场景需要将PCIe驱动与PCIe设备进行接绑，接绑的意思就是不使用某个驱动来管理某个PCIe设备。比如要使用vfio从用户态来处理驱动，或者就是要接绑驱动。通过在/sys/bus/pci/drivers目录下指定的驱动比如mlx5_core.ko的目录下查看有哪些子目录。实操效果，可以看到实操后01:00.0设备已经被接绑，并在驱动中无法查看。就查看驱动目录下是否有pcie设备，比如下面的就没有。接绑的时候会调用PCIe驱动模块的exit函数。再次绑定的的时候会调用PCIe的probe函数。
misc/ibvwrap.cc:278 NCCL WARN Call to ibv_reg_mr_iova2 failed with error Cannot allocate memory
Pretend的博客
04-18 1759
使用nccl后端及mellanox网卡使用RoCE进行分布式训练时，出现错误，添加环境变量。这里只有8192 ，单位KB，即8MB，显然是不够的，但是在当前用户无法运行。进入root是可以的，但是也要在root用户中输入命令才可以使用IB运行。重启后还是相同的错误，通过在github提问得知，可以先检查。命令，加sudo的话 提示找不到命令。参考nccl用户手册中的解决方法，
Mellanox OFED相关的内核模块ko的依赖关系？（mlx_compat-mlx5_core-mlx5_ib； ib_core-ib_uverbs-rdma_ucm）
技术札记
02-26 473
经常需要查看mlx内核模块的依赖关系，尤其是涉及到需要卸载ko的时候。本文简单画一个关系图方便未来快速查看关系。
【RDMA】RDMA信息状态查询|网卡安装|诊断工具|测试RDMA网卡是否正常工作InfiniBand IB常用命令|历史命令记录
热门推荐
我的笔记本
04-17 2万+
目录 1、常规 IB 监视命令 2、常规 IB 性能测试命令 3、光纤网络诊断工具 4、查询并报告非零 IB 端口计数器 原文;https://support.huawei.com/enterprise/zh/knowledge/EKB1001978581 1、常规 IB 监视命令 ibv_asyncwatch 监视 InfiniBand 异步事件 ibv_devices or ibv_devinfo 列举 InfiniBand 设备或设备信息 ibv_rc_pingpong、ibv_.
【RDMA】RoCEv2 帧结构|RoCE和RRoCE|Soft-RoCE
我的笔记本
06-04 2万+
UC send 1911 1.704461 GID: fe80::9a03:9bff:fe92:1ae6 GID: fe80::9a03:9bff:fe9a:4296 RoCE 134 UC Send Only QP=0x00fd47 RC send 17 0.000203 GID: fe80::9a03:9bff:fe92:1ae6 GID: fe80::9a03:9bff:fe9a:2b3a RoCE 114 RC Se...
【RDMA】RoCE网络QoS|应用层设置PFC等级|Tos|Priority|TC
我的笔记本
04-12 8113
1.什么是QoS QoS是一种机制，它给一个网络流赋予一个优先级，并且管理它的最低需求(guarantees)，极限能力(limitations)和它相比其他网络流的优先级服务。这是通过一个2/3阶段的过程将用户层的优先级映射到一个硬件层流量类(hardware Traffic Class)上实现的。流量类被赋予QoS属性(缓存分配，流控制，排队，调度，随机早期检测，显式拥塞通知等等)，并且不同的流按照这些对应的属性被服务。 2.为什么RoCE网络需要QoS RDMA最初设计用在运行高性能计算应用..
GPU集群计算IB网卡命名不一致修改
k5218024的博客
04-29 569
在使用不同厂家的服务器做集群训练时，因为不同厂家的GPU服务器配置不同会影响计算网的通信，以下图为例：mlx5_6网卡在A机器上为25GE网卡，在B机器上为200G的IB网卡，在添加NCCL通信相关配置时，如果没有统一命名，会因为网卡名称导致通信报错。修改 KERNELS==“0000:” 的值，参考smt status -v中的 PCI值对应的NET网卡，保存后reboot。3.ibdev2netdev 查看命名，已经修改成功。下查看PCIE对应的NUMA关系。
ib网卡命令_一种IB网卡连通配置方法、装置、终端及存储介质与流程
weixin_39620662的博客
12-21 4239
本发明属于服务器设置技术领域，具体涉及一种IB网卡连通配置方法、装置、终端及存储介质。背景技术：InfiniBand架构是一种支持多并发链接的“转换线缆”技术，它是新一代服务器硬件平台的I/O标准。由于它具有高带宽、低延时、高可扩展性的特点，它非常适用于服务器与服务器(比如复制，分布式工作等)，服务器和存储设备(比如SAN和直接存储附件)以及服务器和网络之间(比如LAN，WANs和the Inte...
Linux系统和内核目录解析
Alex_wu的博客
07-25 2095
  在学习Linux以及Linux内核的过程中，总是会忘记Linux系统以及内核里的一些目录的含义，因此特地收集了关于Linux系统目录的含义解析以及Linux内核目录的解析。 Linux系统目录解析   关于Linux的系统目录，可以按照以下分类来了解其对应的功能：   系统启动必须： /boot：存放的启动Linux 时使用的内核文件，包括连接文件以及镜像文件。 /etc：存放所有的系统需要...
RoCE、softRoCE与iWRAP
weixin_34368949的博客
06-15 858
RoCE - RDMA over Converged Ethernet 以太网在全球互联的广域网中毫无异议的老大，但在高带宽、低延时的专有网络领域却明显混不开。伴随网络融合概念兴起，IETF发布了DCB标准，RDMA/Infiniband依赖的无损链路得以解决，以太网可以在专有网络领域内也占有一席之地了，所以RoCE – RDMA Over Converged Ethernet就顺势而生...
【RDMA】InfiniBand IB网卡特性查询
guanxiao6的博客
07-31 3446
link_layer: Ethernet // 表示链路层是Ethernet。transport: InfiniBand (0) // 表示传输层是IB协议。ver代表RoCE的版本，INDEX代表gid_index，IPv4 空的就代表IP6，有IP的就是IP4.如有侵权请告知，会及时删除。所以，该网卡的配置是RoCE的。
dpkg -L rdma-core | grep ibdev2netdev # Ubuntu/Debian 没有输出显示
08-01
<think>根据用户提供的引用和问题，用户正在Ubuntu系统中寻找安装或定位ibdev2netdev命令的方法。结合引用[1]中的环境参数（Ubuntu 22.04）和安装步骤，以及用户之前的问题（关于ibdev2netdev命令未找到的解决方案），我们可以确定解决方法。 在Ubuntu/Debian系统中，ibdev2netdev命令通常由rdma-core软件包提供。以下是具体的解决步骤： ### 步骤1: 安装rdma-core软件包 在终端中执行以下命令： ```bash sudo apt update # 更新软件包列表 sudo apt install rdma-core # 安装rdma-core ``` ### 步骤2: 验证安装 安装完成后，运行以下命令检查ibdev2netdev是否可用： ```bash ibdev2netdev -v ``` 如果命令输出类似以下内容，说明安装成功： ``` mlx5_0 port 1 ==> enp1s0f0 (Up) mlx5_1 port 1 ==> enp1s0f1 (Down) ... ``` ### 步骤3: 如果命令仍不可用（路径问题） 在某些系统中，ibdev2netdev可能安装在`/usr/sbin`目录下，而该目录可能不在普通用户的PATH环境变量中。解决方法： 1. 使用完整路径运行： ```bash /usr/sbin/ibdev2netdev ``` 2. 将`/usr/sbin`添加到当前用户的PATH中（临时）： ```bash export PATH=$PATH:/usr/sbin ``` 永久添加：编辑`~/.bashrc`文件，在末尾添加： ```bash export PATH=$PATH:/usr/sbin ``` 然后执行： ```bash source ~/.bashrc ``` ### 步骤4: 检查命令是否存在（可选） 如果安装后仍找不到命令，可以手动查找： ```bash dpkg -L rdma-core | grep ibdev2netdev ``` 输出应包含类似`/usr/sbin/ibdev2netdev`的路径。 ### 引用说明 在Ubuntu系统中，通过安装rdma-core包即可获得ibdev2netdev命令[^1]。如果用户之前尝试过手动安装Mellanox OFED（如引用[1]所示），则可能已经包含该命令，但建议优先使用系统仓库安装以确保兼容性。 ### 相关问题 1. 如何查看InfiniBand设备的连接状态和速率？ 2. 在Ubuntu 22.04中，如何更新rdma-core到最新版本？ 3. 如何配置InfiniBand子网管理器（Subnet Manager）？ 如果您遇到权限问题或安装失败，请提供具体错误信息以便进一步排查。</think>### 在Ubuntu/Debian系统中安装或定位ibdev2netdev命令的方法 在Ubuntu/Debian系统中，`ibdev2netdev`命令通常由**rdma-core**软件包提供。以下是完整的解决方案： #### 方法1：通过系统仓库安装rdma-core ```bash # 更新软件包列表 sudo apt update # 安装rdma-core软件包 sudo apt install rdma-core # 验证安装 ibdev2netdev -v ``` 安装完成后，`ibdev2netdev`命令会位于`/usr/sbin/ibdev2netdev`路径下。 #### 方法2：手动定位命令位置 如果已安装相关软件包但命令不可用： ```bash # 查找命令位置 sudo find / -name ibdev2netdev 2>/dev/null # 若找到路径（如/usr/sbin/ibdev2netdev），临时添加路径 export PATH=$PATH:/usr/sbin # 永久添加路径（编辑~/.bashrc） echo 'export PATH=$PATH:/usr/sbin' >> ~/.bashrc source ~/.bashrc ``` #### 方法3：通过Mellanox OFED安装（高级） 如果使用Mellanox网卡（如引用[1]所示），安装OFED驱动时会包含此命令： ```bash # 下载并解压Mellanox OFED驱动 mkdir /opt/packages cd /opt/packages wget https://content.mellanox.com/ofed/MLNX_OFED-23.10-0.5.5.0/MLNX_OFED_LINUX-23.10-0.5.5.0-ubuntu22.04-x86_64.tgz tar -xvf MLNX_OFED_LINUX-23.10-0.5.5.0-ubuntu22.04-x86_64.tgz # 安装依赖和驱动 sudo ./mlnxofedinstall --add-kernel-support sudo /etc/init.d/openibd restart ``` #### 验证命令可用性 ```bash # 查看InfiniBand设备映射 ibdev2netdev # 示例输出： mlx5_0 port 1 ==> enp1s0f0 (Up) mlx5_1 port 1 ==> enp1s0f1 (Down) ``` ### 关键说明 1. **标准安装**优先使用`sudo apt install rdma-core`，这是最安全的方法[^1] 2. 命令路径通常在`/usr/sbin/`，需确保该路径在`$PATH`环境变量中 3. 安装后若仍不可用，尝试重新加载环境： ```bash source ~/.bashrc # 或重新登录终端 ``` ### 相关问题 1. 如何检查Ubuntu系统中RDMA功能是否已启用？ 2. 安装Mellanox OFED驱动时遇到内核头文件错误如何解决？[^2] 3. 如何配置InfiniBand设备的IP地址和子网？[^4] 4. 在Ubuntu 22.04上如何验证RDMA网络性能？ > 提示：如果使用企业级InfiniBand设备（如Mellanox），建议参考官方文档安装完整OFED套件以获得最佳性能[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值