【微知】关于 Mellanox BF3 DPU 上 rshim 的深入解析（二）?rshim软件和DPU是走什么通道进行通信的？

Mellanox BF3 DPU上rshim通信机制解析
原创 已于 2025-05-04 00:47:39 修改 · 1.5k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#驱动开发

于 2025-05-04 00:29:20 首次发布

文章目录

背景

本文是rshim 的深入解析第二篇。
对于Mellanox BF系列的DPU（Data Processing Unit，数据处理单元）卡，RShim，全称“Remote Shim”。提供了管理通道用来方便主机对DPU卡进行管理，如重置芯片、从外部启动 ARM、查看寄存器状态进行调试、提供串口访问以及提供 TCP/IP 接口（常用的tmpfifo_net的网络设备也是rshim提供的）。他在硬件上有一个专门的硬件单元。从RShim这个名字来看，设计者期望提供一个能够远程访问的很薄的一个垫片层（Shim），所以看待RShim应该抛开迷雾，关注数据流动，直击功能本质。
本文涉及到rshim的的部分代码机制机理介绍。
跟多参考兄弟篇文章：https://blog.youkuaiyun.com/essencelite/article/details/147670941

代码相关分析

关于rshim设备的黑名单

rshim设备黑名单指定后可以不开启映射rshim文件，具体在配置文件中设置。
支持黑名单模式，在rshim_blocked_dev_names中配置，在pcie扫描后在rshim_pcie_probe阶段，使用rshim_allow_device判断。如果在黑名单之中不创建。
在这里插入图片描述

rshim有配置文件

/etc/rshim.conf
比如指定rshim名字和pcie的映射关系，指定黑名单

rshim的映射3中模式

有uio vfio direct， 一般使用uio方式
在这里插入图片描述

rshim中前后端模式

在这里插入图片描述

rshim支持的寄存器

最低0.47元/天 解锁文章
【DPU系列之】BlueField DPU的3种工作模式，相互特点以及如何开启和关闭？（ECPF、Zero Trust、NIC；mlxprivhost r p q；mlxconfig；冷重启）
技术札记
05-05 6827
可以看到设置为p之后，ARM和HOST都具有特权。
Nvidia DPU从BF2到BF3的9大重要变化：5升级2增加2迁移1相同（硬件模块布局视角看）
技术札记
05-04 7087
本文主要记录HHHL规格的BF2。图片来源 NV官网。
Nvidia BF3 DPU安装
你的问题在于，读书太少而想得太多。
04-25 4988
Nvidia BF3 DPU安装
【微知】关于 Mellanox BF3 DPU 上 rshim 的深入解析（一）?以及如果无法创建rshim设备如何处理？
技术札记
05-02 1507
包括要提供boot、misc、console、rshim等多个通道，体现了Mellanox 20多年运维网卡的经验（比如要提供一个tmfifo_net来与网卡通信，这个通道可以简化很多实验环境单机完成HOST和ARM通信，我想新开发DPU的厂商如果设计了这个 应该能省不少事儿；他在硬件上有一个专门的硬件单元。可以看到tmpfifo_net是在rshim进程启动后rshim_main中的work，启动rshim_net_init创建的，如果rshim_no_net为0，表示要开启tmpfifo就会来创建。
NVIDIA Mellanox BlueField-2 DPU智能网卡的调试和使用
weixin_44357071的博客
05-28 1142
BlueField DPU Administrator Quick Start Guide - NVIDIA Docs
Bluefiled DPU无法用rshim登录，不存在/dev/rshim处理办法？（yum install -y rshim，systemctl restart rshim）
技术札记
10-08 1946
登录Bluefield DPU可以使用ssh通过带外OOB登录，可以使用主机HOST上通过配置DPU的互通设备tmfifo_net0然后ssh登录，也可以通过rshim的console登录。本文将介绍使用rshim登录场景，主机host并没有rshim相关文件或服务的处理办法。
微知-Bluefield DPU命名规则各字段作用？BF2 BF3全系列命名大全
技术札记
10-12 1875
参考：https://docs.nvidia.com/networking/display/bluefield2dpuenug。通过本文熟悉和练习后，可以快速根据DPU型号快速获取DPU的规格性能等。比如MBF2H是P系列，MBF2M是E系列。另外本文收集了所有BF2和BF3的型号，和相关功能对比。截止目前2410，DPU分三大类。
如何通过rshim在Host上升级Bluefield DPU？
技术札记
10-09 1267
如果需要支持特定的doca，可以直接使用DOCA bund绑定的版本。也可以在BSP路径下载。将镜像拷贝到host主机上。
微知-如何查看Bluefield DPU安装的BFB镜像版本？如何查看DPU中OS的版本？内核版本等信息？(cat /etc/mlnx-release)
技术札记
10-08 840
Bluefield DPU在DPU mode下，可以登录到DPU OS中查看信息。并且DPU OS可以通过BFB进行升级，在使用bfb升级后如何查看当时使用的bfb文件？该条命令在BF2和BF3都一样。本文主要介绍在Bluefield DPU的OS上查看系统版本以及所烧录的镜像名字等信息。实际查看到的信息和安装的镜像对比，安装的镜像会比名字多一个.bfb后缀。，该文件中会详细记录OS版本、内核版本、fw版本、spdk版本等信息。
微知-如何通过rshim在host重启Bluefield DPU上的OS？如何进入BIOS？以及一些DPU的BIOS(echo ‘SW_RESET 1‘ ＞ /dev/rshim0/misc)
技术札记
10-08 1800
在Bluefield DPU中，经常需要重启设备，可以通过OOB带外，也可以ssh登录后reboot，也可以通过ipmitool指定ip，如果带外，ipmitool等都无法登录了，此时rshim通道的SW_RESET就是一个很好的重启方式?
rshim-2.0.5-2.el8.aarch64.rpm
12-16
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
如何禁止rshim进程
copa的博客
10-16 4444
如何禁止rshim
如果禁止掉 rshim 进程。
程序厨
06-04 3764
今天执行 top -H命令，发现一个进程一直在消耗资源，而且还在第一位，kill 也 kill 不掉。 然后执行下下面代码 netstat -lnpt 查看是否占用端口 发现并没有过占用端口。所以去/usr/bin文件夹下查找该进程。 最后禁用其写权限，顺利禁止掉该进程。 chmod 600 rshim 后面大鹏哥告诉我查询进程的命令，分享给大家 ps -ef | grep rshim | grep -v grep 这样可以屏蔽掉包含 grep的进程 ...
Linux top命令详解
Osean_li的博客
12-31 448
引言 top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器 首先介绍top中一些字段的含义 VIRT：virtual memory usage 虚拟内存 1、进程“需要的”虚拟内存大小，包括进程使用的库、代码、数据等 2、假如进程申请100m的内存，但实际只使用了10m，那么它会增长100m，而不是实际的使用量 RES：res...
jenkins报错： Failed to setup credentials 解决方法
llc580231的博客
08-15 3511
2.接下来清理tag为none的镜像文件，执行命令： echo "123456" | sudo -S docker rmi $(echo "123456" | sudo -S docker images -f "dangling=true" -q)3.执行完成后，再次执行命令：docker system prune --volumes 输入 y 回车确认执行 这条命令是清除的不常用数据。1.首先连接至jenkins所在的服务器，使用命令： df -h 查看磁盘空间，可以看到磁盘空间已经满了。
工作中遇到的木马文件
weixin_45081220的博客
06-22 354
工作中遇到的木马
GPU 学习笔记二：GPU单机多卡组网和拓扑结构分析（基于A100的单机多卡拓扑结构分析）
汝飞@大模型 的博客
10-28 6031
大规模 GPU 训练的性能与数据传输速度有直接关系。这里面涉及到很多链路，比如 PCIe 带宽、内存带宽、NVLink 带宽、HBM带宽、网络带宽等。网络习惯用 bits/second (b/s) 表示之外，并且一般说的都是单向（TX/RX）；其他模块带宽基本用 byte/sedond (B/s) 或 transactions/second (T/s) 表示，并且一般都是双向总带宽。比较带宽时注意区分和转换。换算单位：1Byte=8bit。
宝塔cpu爆满
2301_78491269的博客
06-17 460
rshim可能是一个资源使用监控工具或服务，用于监控和限制进程资源使用，类似于cpulimit。如果这个进程占用了大量CPU资源，可能是正常的资源管理进程，也可能是恶意软件造成的。如果rshim是正常的系统进程或宝塔面板的一部分，请检查宝塔面板的资源限制设置，确保它们不会导致CPU使用率过高。如果确定是正常的资源管理工具，可以考虑优化宝塔面板的资源限制设置，或升级到更高的配置。如果是误报，可能需要更新或升级安全软件，并检查是否有必要的系统更新。使用宝塔面板的“防火墙”功能，检查并阻止不明的进程或IP地址。
mellanox网卡DPU BF3怎么在windos sever下调网卡模式
最新发布
07-29
### Mellanox DPU BF3 在 Windows Server 下的网卡模式设置 Mellanox BlueField-3 (BF3) 是一款集成了 Arm 处理器的 DPU（Data Processing Unit），具备网络加速、存储卸载、安全加密等多种功能。在 Windows Server 环境中，BF3 可以被配置为传统网卡模式（NIC Mode），以实现与标准以太网接口兼容的功能，支持 RDMA、虚拟化等功能。 在 Windows Server 中配置 Mellanox DPU BF3 为网卡模式，主要涉及固件配置、驱动安装以及通过管理工具设置工作模式。以下是具体步骤： #### 1. 安装 Mellanox OFED 驱动 Mellanox OFED（Open Fabrics Enterprise Distribution）为 Windows 提供了完整的驱动支持，包括 RoCE、虚拟化、RDMA 等功能。需从 Mellanox 官网下载适用于 Windows 的 OFED 驱动包，并安装到目标系统中。安装完成后，系统会自动识别 BF3 设备，并加载相应的驱动模块。 #### 2. 配置 DPU 模式为 Embedded CPU 模式 Mellanox DPU BF3 支持多种工作模式，包括 Embedded CPU 模式和 SmartNIC 模式。若需将其作为网卡使用，通常应将其配置为 Embedded CPU 模式。该模式下，DPU 的 Arm 核心运行独立的操作系统（如 BlueField OS），而主机端则通过 PCIe 接口与 DPU 通信，BF3 作为标准网卡设备呈现给 Windows 系统。 在 Linux 环境中，可以通过 `/sbin/mlnx_bf_configure` 脚本自动完成 DPU 模式的切换，并创建 SF（Scalable Function）接口[^2]。但在 Windows 环境中，该过程需通过 Mellanox 提供的工具完成，例如 `MLNX_WINOF2` 工具链。 #### 3. 使用 MLNX_WINOF2 工具配置网卡模式 MLNX_WINOF2 是 Mellanox 提供的 Windows OFED 工具包，支持对网卡进行模式切换和配置。使用方法如下： - 打开命令提示符（CMD）并执行以下命令列出所有 Mellanox 设备： ```cmd mstflint -d <pci_bdf> q ``` 其中 `<pci_bdf>` 为 BF3 的 PCI 地址（例如 `03:00.0`）。 - 查询当前固件配置后，使用 `mstconfig` 工具设置网卡的工作模式。例如，将网卡设置为以太网模式（`LINK_TYPE_P1=2`）： ```cmd mstconfig -d <pci_bdf> set LINK_TYPE_P1=2 ``` 设置完成后需重启系统以使配置生效。 #### 4. 验证网卡模式 在 Windows Server 中，可通过设备管理器查看 Mellanox 网卡设备状态，确认是否已识别为标准以太网适配器。此外，可使用 `mlxconfig` 工具查询当前网卡的工作模式： ```cmd mlxconfig -d <pci_bdf> q ``` 输出结果中应包含 `LINK_TYPE_P1` 字段，其值为 `2` 表示以太网模式。 #### 5. 启用 RoCE 功能（可选） 若需在网卡模式下启用 RoCE 功能，可使用 `cma_roce_mode` 工具进行配置： ```cmd cma_roce_mode -d mlx5_0 -s 2 ``` 该命令将网卡切换为 RoCE 模式，值为 `2` 表示启用 RoCEv2，值为 `1` 表示 IB 模式[^1]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值