Mellanox执行ibdev2netdev报错‘/sys/class/infiniband/‘: No such file or directory？ （insmod ib_core.ko）

已于 2025-03-02 02:25:22 修改
阅读量398 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Mellanox专区-OFED&DOCA&RDMA 文章标签： Mellanox
于 2025-03-02 02:18:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/essencelite/article/details/145957271

背景

在实际工作中会偶尔遇到 ibdev2netdev没有的情况，有可能是部署环境中的问题，也可能是调试环境的问题。

现象

执行ibdev2netdev 的时候提示没有/sys/class/infiniband/目录，并且报错：
在这里插入图片描述

原因

/sys/class/infiniband/这个是ib_core的ko创建到系统的。要么是ib_core加载异常要么是没有加载

解决办法

加载ib_core.ko
可以直接insmod，或者非调试情况用modprobe ib_core.ko

实操

在这里插入图片描述
可以看到已经有该目录，但是没有具体设备。
没有具体设备是其他的问题，因为设备是mlx5驱动层创建的，需要额外加载mlx5_ib.ko，加载后可以看到具体的设备
在这里插入图片描述

【小工具pcie2netdev】一次获取Mellanox网卡eth、ib、IP、PCIe等信息的命令（lspci ＞ bdf ＞ /sys/class/pci_bus ＞ eth ＞ ibdev）
技术札记
05-05 1074
经常为了获取某个IB设备的信息需要多个命令，并且命令之间需要获取PCIe的BDF、获取Eth名字、获取ib名字，然后查询。效率低而且不全面。特此写了个小工具一把刷出来。
NVIDIA以太网卡ConnectX-4/5/6 使用 KVM虚拟化时如何配置 SR-IOV？
qq_27815483的博客
07-24 1560
本文主要介绍如何在KVM虚拟化上开启SR-IOV使PCI设备更好的支持虚拟化
【RDMA】RDMA信息状态查询|网卡安装|诊断工具|测试RDMA网卡是否正常工作InfiniBand IB常用命令|历史命令记录
热门推荐
bandaoyu的note
04-17 2万+
目录 1、常规 IB 监视命令 2、常规 IB 性能测试命令 3、光纤网络诊断工具 4、查询并报告非零 IB 端口计数器 原文;https://support.huawei.com/enterprise/zh/knowledge/EKB1001978581 1、常规 IB 监视命令 ibv_asyncwatch 监视 InfiniBand 异步事件 ibv_devices or ibv_devinfo 列举 InfiniBand 设备或设备信息 ibv_rc_pingpong、ibv_.
【微知】Mellanox网卡ib设备对应的信息如何快速既查看eth网卡名也查看fw版本也查看网卡型号？(ibdev2netdev -v)
最新发布
技术札记
05-17 284
本文介绍了如何快速查看InfiniBand设备的网络接口名称、固件版本信息以及网卡型号。通过使用ibdev2netdev -v命令，可以一步完成以下操作：首先获取IB设备的网络接口名称，接着通过ethtool -i获取固件版本信息，最后通过lspci从ethtool中查看网卡型号。这种方法简化了操作流程，提高了效率。文章还提供了实际操作截图，帮助用户更直观地理解和使用该命令。
【RDMA】RoCEv2 帧结构|RoCE和RRoCE|Soft-RoCE
bandaoyu的note
06-04 2万+
UC send 1911 1.704461 GID: fe80::9a03:9bff:fe92:1ae6 GID: fe80::9a03:9bff:fe9a:4296 RoCE 134 UC Send Only QP=0x00fd47 RC send 17 0.000203 GID: fe80::9a03:9bff:fe92:1ae6 GID: fe80::9a03:9bff:fe9a:2b3a RoCE 114 RC Se...
【RDMA】RoCE网络QoS|应用层设置PFC等级|Tos|Priority|TC
bandaoyu的note
04-12 7339
1.什么是QoS QoS是一种机制，它给一个网络流赋予一个优先级，并且管理它的最低需求(guarantees)，极限能力(limitations)和它相比其他网络流的优先级服务。这是通过一个2/3阶段的过程将用户层的优先级映射到一个硬件层流量类(hardware Traffic Class)上实现的。流量类被赋予QoS属性(缓存分配，流控制，排队，调度，随机早期检测，显式拥塞通知等等)，并且不同的流按照这些对应的属性被服务。 2.为什么RoCE网络需要QoS RDMA最初设计用在运行高性能计算应用..
GPU集群计算IB网卡命名不一致修改
k5218024的博客
04-29 320
在使用不同厂家的服务器做集群训练时，因为不同厂家的GPU服务器配置不同会影响计算网的通信，以下图为例：mlx5_6网卡在A机器上为25GE网卡，在B机器上为200G的IB网卡，在添加NCCL通信相关配置时，如果没有统一命名，会因为网卡名称导致通信报错。修改 KERNELS==“0000:” 的值，参考smt status -v中的 PCI值对应的NET网卡，保存后reboot。3.ibdev2netdev 查看命名，已经修改成功。下查看PCIE对应的NUMA关系。
ib网卡命令_一种IB网卡连通配置方法、装置、终端及存储介质与流程
weixin_39620662的博客
12-21 4102
本发明属于服务器设置技术领域，具体涉及一种IB网卡连通配置方法、装置、终端及存储介质。背景技术：InfiniBand架构是一种支持多并发链接的“转换线缆”技术，它是新一代服务器硬件平台的I/O标准。由于它具有高带宽、低延时、高可扩展性的特点，它非常适用于服务器与服务器(比如复制，分布式工作等)，服务器和存储设备(比如SAN和直接存储附件)以及服务器和网络之间(比如LAN，WANs和the Inte...
Linux系统和内核目录解析
Alex_wu的博客
07-25 1969
  在学习Linux以及Linux内核的过程中，总是会忘记Linux系统以及内核里的一些目录的含义，因此特地收集了关于Linux系统目录的含义解析以及Linux内核目录的解析。 Linux系统目录解析   关于Linux的系统目录，可以按照以下分类来了解其对应的功能：   系统启动必须： /boot：存放的启动Linux 时使用的内核文件，包括连接文件以及镜像文件。 /etc：存放所有的系统需要...
RoCE、softRoCE与iWRAP
weixin_34368949的博客
06-15 780
RoCE - RDMA over Converged Ethernet 以太网在全球互联的广域网中毫无异议的老大，但在高带宽、低延时的专有网络领域却明显混不开。伴随网络融合概念兴起，IETF发布了DCB标准，RDMA/Infiniband依赖的无损链路得以解决，以太网可以在专有网络领域内也占有一席之地了，所以RoCE – RDMA Over Converged Ethernet就顺势而生...
infiniband verbs
12-22
infiniband verbs，从openfabric联盟网站下载来的
【RDMA】InfiniBand IB网卡特性查询
guanxiao6的博客
07-31 2480
link_layer: Ethernet // 表示链路层是Ethernet。transport: InfiniBand (0) // 表示传输层是IB协议。ver代表RoCE的版本，INDEX代表gid_index，IPv4 空的就代表IP6，有IP的就是IP4.如有侵权请告知，会及时删除。所以，该网卡的配置是RoCE的。
Linux 环境下 InfiniBand 组网认知
山河已无恙
04-25 1736
工作中遇到，简单整理博文内容涉及InfiniBand简单认知，以及使用ib_send_*和iperf3对 InfiniBand 组网进行测试 Demo理解不足小伙伴帮忙指正对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》InfiniBand(或则直接叫IB)是一种高性能计算和数据中心网络技术。
内核态使用infiniband
Juffi的专栏
05-17 4572
Infiniband驱动介绍：    Infiniband 驱动，包括内核对硬件的驱动和用户层的驱动。      CentOS6.5内核包含了对Infiniband HCA的支持，所以插上卡后，开机会有mlx4_core和mlx4_ib两个内核模块被加载，在/sys/calss/infiniband/下会有mlx4_0设备。但是没有支持用户使用的程序如果不安装用户层驱动。可以在官网下载安装用户
【RDMA】intel 英特尔RDMA 驱动和ibverslib 库安装|流控PFC
bandaoyu的note
04-27 2万+
1、安装intel RDMA网卡 2、到官网下载驱动https://downloadcenter.intel.com/zh-cn/download/30368/-E810-X722-Ethernet-Linux-RDMA- 3、安装相应的 LAN 驱动程序 （在安装 irdma 之前，E810 和 X722 对应的 LAN 驱动程序（ice 或 i40e）都必须从此版本中包含的源代码构建安装在您的系统上。） 4、安装irdma （irdma Linux *驱动程序在支持RDMA的英特尔网络设备上.
【Mellanox命令系列之】Mellanox查看网卡信息的2个命令以及如何查看连接状态、速率等以及涉及2个RPM工具包？（ibstat、ibv_devinfo；IB diags包和ibverbs包）
技术札记
05-05 3591
这里可以得到2个Mellanox提供的工具rpm来源，一个是infiniband的diags一个是libibverbs提供的tools。ibstat 是infiniband-diags提供的调试工具，侧重点就是在物理设备层面，所以对于网卡更接近。ibstat 是infiniband-diags提供的工具，侧重点就是在物理设备层面，所以对于网卡更接近。（顺带提一句，如果是自己安装的系统，比如anolisos，建议选择全量的命令）ibv_devinfo 是libibverbs提供的工具，侧重点在用户层。
【RDMA】RoCE Debug Flow for Linux（Linux下调试RoCE的流程）
bandaoyu的note
04-12 1662
原文：https://community.mellanox.com/s/article/RoCE-Debug-Flow-for-Linux *For the RoCE recommended configuration and verification, please clickhere. This post provides guidelines for how to debug the RoCE network and how to tune RoCE performanc...
Fatal error: Could not find device (or device not supported) Session aborted!解决方法
YoungJoker的博客
04-19 7410
@Fatal error: Could not find device (or device not supported) Session aborted!解决方法Fatal error: Could not find device (or device not supported) Session aborted!解决方法 遇到的问题. 我遇到的问题是：使用IAR下载程序时出现Fatal error: Could not find device (or device not supported) Sess
2025/04/19 20:05:47 routes.go:1187: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION:10.3.0 HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://127.0.0.1:11434 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:C:\\Users\\asus\\.ollama\\models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://*] OLLAMA_SCHED_SPREAD:false ROCR_VISIBLE_DEVICES:]" time=2025-04-19T20:05:47.011+08:00 level=INFO source=images.go:432 msg=
04-20
<think>嗯，用户现在想了解在特定的服务器配置和环境变量下如何使用模型，特别是提到了CUDA_VISIBLE_DEVICES和OLLAMA_HOST这些变量。首先，我需要回顾之前的对话，看看之前有没有相关的信息可以提供参考。之前的回答里提到了模型选择、约束融合、工具链集成，还有验证优化方法，但用户现在的问题更具体到环境配置。 用户提到了引用[1]里的CUDA驱动错误处理，这可能涉及到GPU资源的分配和错误处理。需要解释如何通过环境变量来管理GPU，比如CUDA_VISIBLE_DEVICES，这个变量可以控制哪些GPU对程序可见，避免资源冲突。另外，引用[2]里提到了ChatGLM-6B和duckduckgo_search结合解决实时性问题，这可能涉及到分布式部署或模型服务配置，这时候OLLAMA_HOST这样的环境变量可能会用于指定服务的主机地址。 接下来，用户的具体问题是如何在给定的服务器配置下使用模型，可能需要分步骤说明环境变量的设置，比如在单卡、多卡情况下的不同配置，以及如何结合具体的模型框架（如PyTorch或TensorFlow）来使用这些变量。还要考虑OLLAMA_HOST的设置，可能涉及到服务部署时的网络配置，比如绑定特定IP和端口，确保模型服务可以被正确访问。 另外，用户可能关心的是如何验证环境变量是否生效，比如通过代码示例检查可见的GPU设备，或者测试OLLAMA_HOST是否配置正确。此外，可能需要提到常见问题，比如CUDA驱动错误如何处理，如何避免显存不足，或者多任务下的资源竞争问题，这些都可以引用之前提到的CUDA错误处理机制。 还需要注意用户可能是在多任务或分布式环境下使用模型，这时候环境变量的管理尤为重要，比如在Docker容器中设置这些变量，或者在启动脚本中动态配置。同时，结合之前的工具链集成，比如LangChain的代理决策流程，可能需要环境变量来连接不同的服务组件。 最后，用户可能需要一些实际的应用案例，比如在特定GPU配置下训练模型，或者部署模型服务时如何设置OLLAMA_HOST，确保其他服务能够正确调用。这时候给出具体的代码示例和命令会很有帮助，比如使用nvidia-smi检查GPU状态，或者用curl测试服务是否可达。 总之，需要结构清晰地分步骤讲解环境变量的设置方法，结合具体框架和工具的使用，提供验证方法和常见问题解决方案，并给出实际案例帮助用户理解。同时，确保引用之前的回答内容，比如模型选择时的参数空间限制，或者资源监控的方法，来保持回答的一致性。</think>### 在特定服务器配置下使用模型的系统方法 #### 一、GPU资源配置（基于引用[1]） **1. CUDA设备隔离与控制** ```bash # 仅允许使用索引为0的GPU（适用于单卡场景） export CUDA_VISIBLE_DEVICES=0 # 多卡并行场景（如需要同时使用0号和1号GPU） export CUDA_VISIBLE_DEVICES=0,1 ``` **验证方法**： ```python import torch print(f"可见GPU: {torch.cuda.device_count()} 块") # 输出实际可用的GPU数量[^1] # 手动指定设备（需与CUDA_VISIBLE_DEVICES匹配） device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu") ``` **2. 显存优化策略** ```python # PyTorch显存配置（基于引用[1]错误处理机制） torch.cuda.set_per_process_memory_fraction(0.8) # 限制单进程显存使用不超过80% torch.backends.cudnn.benchmark = True # 启用cuDNN自动优化 ``` #### 二、分布式服务配置（基于引用[2]） **1. OLLAMA_HOST环境变量** ```bash # 指定模型服务地址（假设服务器IP为192.168.1.100） export OLLAMA_HOST=192.168.1.100:11434 # 验证服务可达性 curl http://$OLLAMA_HOST/api/tags # 应返回已加载模型列表 ``` **2. 多模型并行服务** ```python from langchain.llms import Ollama # 创建两个独立实例指向不同GPU llm_math = Ollama( base_url="http://192.168.1.100:11434", model="llama2-math", temperature=0.3, device="cuda:0" ) llm_code = Ollama( base_url="http://192.168.1.100:11434", model="codellama", temperature=0.7, device="cuda:1" ) ``` #### 三、环境变量组合配置 **典型场景配置模板**： ```bash # GPU资源配置 export CUDA_VISIBLE_DEVICES=0,1 # 使用前两块GPU export TF_FORCE_GPU_ALLOW_GROWTH=true # TensorFlow显存动态增长 # 服务网络配置 export OLLAMA_HOST=0.0.0.0:11434 # 允许所有IP访问 export NCCL_IB_DISABLE=1 # 禁用InfiniBand（适用于某些云服务器） # 性能优化 export OMP_NUM_THREADS=8 # 设置OpenMP线程数 export TORCH_USE_CUDA_DSA=1 # 启用CUDA设备端断言[^1] ``` #### 四、验证与监控 **1. 实时资源监控** ```bash # 查看GPU使用情况（需安装nvidia-smi） watch -n 1 nvidia-smi --query-gpu=index,utilization.gpu,memory.used --format=csv # 输出示例： # 0, 45%, 12034MiB # 1, 12%, 512MiB ``` **2. 环境变量影响测试** ```python import os import subprocess # 检查CUDA设备可见性 print("可见GPU:", os.environ.get("CUDA_VISIBLE_DEVICES", "未设置")) # 测试OLLAMA服务连通性 result = subprocess.run( ["curl", "-s", f"http://{os.environ['OLLAMA_HOST']}/api/version"], capture_output=True, text=True ) print("服务版本:", result.stdout) ``` #### 五、典型问题解决方案 **问题场景**：CUDA out of memory错误 **解决方法**： 1. 降低批量大小：`batch_size=64 → 32` 2. 启用梯度检查点： ```python from torch.utils.checkpoint import checkpoint class CustomModel(nn.Module): def forward(self, x): return checkpoint(self._forward, x) ``` 3. 使用混合精度训练： ```python scaler = torch.cuda.amp.GradScaler() with torch.autocast(device_type='cuda', dtype=torch.float16): outputs = model(inputs) loss = criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` **问题场景**：多节点通信失败 **解决方法**： ```bash # 设置NCCL网络参数 export NCCL_DEBUG=INFO export NCCL_SOCKET_IFNAME=eth0 # 指定网卡名称 export NCCL_IB_HCA=mlx5 # Mellanox设备专用设置 ``` --- ### 相关问题 1. 如何监控多GPU任务的显存使用峰值？ 2. 在容器化部署中如何传递环境变量到模型服务？ 3. 混合精度训练对模型精度的影响如何评估？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值