【微知】ib_write_bw如何指定rdma报文的mtu大小？（--mtu=1024； ibv_devinfo | grep -i mtu）

最新推荐文章于 2025-10-28 09:51:57 发布
原创 最新推荐文章于 2025-10-28 09:51:57 发布 · 651 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #perftest #Mellanox #rdma

快速回忆

ib_write_bw --ib-dev=mlx5_0 --mtu=256
ib_write_bw --ib-dev=mlx5_1  1.1.1.2 --mtu=256

ibv_devinfo | grep -i mtu

ifconfig enp1s0f0 mtu 4096
ifconfig enp1s0f1 mtu 4096

参数

  -m, --mtu
最低0.47元/天 解锁文章
教你在虚拟机上把普通网卡配置成softroce设备来运行rdma-core中的示例程序
嵌入式技术开发
07-30 2026
在虚拟机环境中，将普通网卡配置为 SoftRoCE 设备可以帮助你在没有实际硬件 RDMA 设备的情况下测试和体验 RDMA 功能。SoftRoCE 是 RoCE（RDMA over Converged Ethernet）协议的一个软件实现。
rdma rocev2报文格式总结
qq_38158479的博客
02-15 1万+
rdma rocev2报文格式总结
【报错处理】ib_write_bw执行遇到Found Incompatibility issue with GID types.原因与解决办法
技术札记
04-30 1257
Server设置了IP地址，Client未设置IP地址（初期启动，环境中没有DHCP服务器）。ib_write_bw在Client端连接server时认为使用不同的IP version。命令: ib_write_bw 1.1.1.1。
微知-ib_write_bw的各种参数汇总?如何绑核?三种查看numa节点方式？（-d -q -s -R --run_infinitely,mr_per_qp
技术札记
11-19 4760
经常忘记使用ib_write_bw打流的一些参数，特此整理记录在这里方便快速查阅。尤其是run_infinitely这个参数容易写错。
【HeadFirst OFED】OFED中ib_device_attr能力信息如何在用户态查看？如何查看网卡是否支持UMR修改mkey的entry size？（ ibv_devinfo -v）
技术札记
09-13 224
本文分析了Mellanox驱动中IB设备能力的用户态获取机制，重点探讨了UMR修改Mkey页大小的能力检测。通过ib_verbs.h中的ib_device_attr结构体，展示了设备能力flags的存储方式，特别是IB_DEVICE_MEM_MGT_EXTENSIONS标记。文章指出可以使用ibv_devinfo工具查询硬件能力，该工具通过ib_query_device接口读取底层硬件信息。最后总结了6个关键点，包括用户态能力查询方法、硬件支持检测方式以及Mkey页大小的实际含义（log_entity_si
【RDMA】InfiniBand IB常用命令|历史命令记录
小鱼菜鸟的博客
07-22 9036
目录 0、使用命令记录 1、常规 IB 监视命令 2、常规 IB 性能测试命令 3、光纤网络诊断工具 4、查询并报告非零 IB 端口计数器 5、其常用指令 作者:bandaoyu,随时更新，源文地址：https://blog.youkuaiyun.com/bandaoyu/article/details/115798693 RDMA 常用命令 H...
【RDMA】基于RoCE的应用程序的MTU注意事项|探测网络中的MTU设置
我的笔记本
05-12 4636
原文：https://support.mellanox.com/s/article/MLNX2-117-1682kn 基于RoCE的应用程序的MTU注意事项 InfiniBand协议最大传输单元（MTU）定义了几个固定大小的MTU：256、512、1024、2048或4096字节。 使用在以太网上运行的RDMA的基于RoCE的应用程序应考虑到RoCE MTU小于以太网MTU（Ethernet MTU）。 （通常默认值为1500）。 驱动程序从上面的列表中选择比Ethernet MTU 小的最大.
ib_write_bw 和 ib_read_bw 测试 RDMA 的读写处理确定带宽
热门推荐
郑泽林
11-06 2万+
1、 使用 ib_read_bw 测试 RDMA 写速度： 首先你有两台有IB卡、装了ib驱动 的服务器。 服务器A：ib_write_bw -a -d mlx4_0 服务器B : ib_write_bw -a -F 服务器A的ip -d mlx4_0 --report_gbits 2、 使用 ib_write_bw 测试 RDMA 写速度： 服务器A : ib_write_bw -a -...
第十八篇: `ib_write_bw` - InfiniBand网络的“速度测试仪”
weixin_42587823的博客
10-28 726
是我们验证IB网络性能的“黄金标准”，它用无可辩驳的数据告诉我们网络的真实吞吐能力。ibstat和ibping保证了网络的**“质”**（连通性）。保证了网络的**“量”**（双向带宽）。通过这“三板斧”，我们就具备了全面诊断IB网络的能力。至此，我们已经深入探索了监控、诊断、调度、网络等各个维度的命令。但当所有外部瓶颈都排除，性能问题直指GPU应用本身时，我们就需要更专业的“手术刀”来剖析其内部行为了。在下一篇中，我们将介绍NVIDIA官方的性能剖析工具——nsys和 ncu的命令行用法。
【RDMA】安装RDMA Soft-RoCE|虚拟机安装Soft-RoCE
我的笔记本
08-10 4039
softRoCE的目标是在所有支持以太网的设备上都可以部署RDMA传输，可以使不具备RoCE能力的硬件和支持RoCE的硬件间进行基于IB语义的交流。大白话就是模拟RDMA的软件栈，使得在没有RDMA网卡的环境上，也可以运行基于RDMA写的传输程序。但是因为RDMA网卡的一大特色之一就是，传输的动作是网卡上的芯片处理的，普通网卡没有这样的硬件，所以只是实现了0拷贝，而没有真正的RDMA网卡的CPU减负功效。
【RDMA】RoCE网络QoS|应用层设置PFC等级|Tos|Priority|TC
小鱼菜鸟的博客
07-22 2097
目录 1.什么是QoS 2.为什么RoCE网络需要QoS 3.为了实现每个流有不同的优先级，硬件层如何对流量分类 4. 应用层如何对流量分类 5. 应用层对流量的分类是怎么映射到硬件层上的分类 6.映射完成之后硬件是怎么针对优先级对网络流进行调度的 6.1 严格优先级 6.2 最小带宽保证(Enhanced Transmission S...
【报错处理】ib_write_bw报错Couldn‘t allocate MR处理办法？为什么root能通非root不通？(ulimit -l； /etc/security/limits.conf`)
技术札记
05-08 1412
ulimit是针对每个shell进程的，系统创建shell的时候会根据 /etc/security/limits.conf中来设置默认的限制值。另外要熟悉rdma的mem内存原理，知道锁内存的情况，结合ulimit就打通，从而进行设置和解决无法alloc MR的问题。ib_write_bw默认启动是65536的size。由于ib_write_bw在启动前reg mr的过程会pin mem，这里的pin mem就是锁住内存。在root能够正常执行ib_write_bw，但是在普通用户无法执行。
infiniband带宽测试方法1 ib_read/write_bw/lat
撞强※非专业，更专注
05-24 1万+
 一、带宽的测试。 1、找任意两台服务器，先查看IB的状态。 #ibstat 2、两台服务器都要重启IB的服务 # /etc/init.d/openibd restart 3、两台服务器都要开户子网管理器 #/etc/init.d/opensmd start 暂停子网管理器的命令是 # /etc/init.d/opensmd stop 4、第一台机执行 #ib_wri
【报错处理】ib_write_bw执行遇到Couldn‘t listen to port 18515原因与解决办法？
技术札记
04-30 1314
要点： 相关命令： 现象： 端口18515被其他程序占用。 确认方法：netstat 命令来检查端口的占用情况 实操：看到已经被占用 client端和server端均使用–port或者-p指定端口（TCP使用的端口） 参数说明： 指定端口执行命令： 解决后效果 方法1： 实操效果： Server: Client： 方法2： 实操效果： 原理： RDMA建链默认使用18515端口，先基于TCP进行交互建链数据，然后根据建链数据走RDMA通道。也就是建链走ETH通道，实际数据走RDMA通道。
【报错处理】ib_write_bw执行遇到ethernet_read_keys: Couldn‘t read remote address解决办法？
技术札记
05-01 2203
server端启动未指定多qp，client指定多qp出现异常。命令: ib_write_bw 1.1.1.1。server端和client指定相同的qp。
【Mellanox命令系列之】Mellanox查看网卡信息的2个命令以及如何查看连接状态、速率等以及涉及2个RPM工具包？（ibstat、ibv_devinfo；IB diags包和ibverbs包）
技术札记
05-05 4427
这里可以得到2个Mellanox提供的工具rpm来源，一个是infiniband的diags一个是libibverbs提供的tools。ibstat 是infiniband-diags提供的调试工具，侧重点就是在物理设备层面，所以对于网卡更接近。ibstat 是infiniband-diags提供的工具，侧重点就是在物理设备层面，所以对于网卡更接近。（顺带提一句，如果是自己安装的系统，比如anolisos，建议选择全量的命令）ibv_devinfo 是libibverbs提供的工具，侧重点在用户层。
HCA卡的MTU仅仅对IPOIB有效,对RDMA没有速度提升.
msdnchina的专栏@JiNan,ShanDong
05-12 1915
HCA卡的MTU仅仅对IPOIB有效,对RDMA没有速度提升.
【微知】如何查看Mellanox网卡支持的最大QP、最大mr？（ibv_devinfo -v）
技术札记
07-24 177
加上-v能够看到详细的一些max规格等信息。
深入浅出全面解析RDMA
架构师技术联盟
02-14 1795
    RDMA(RemoteDirect Memory Access)技术全称远程直接内存访问，就是为了解决网络传输中服务器端数据处理的延迟而产生的。它将数据直接从一台...
RDMA技术在分布式存储中的具体实现步骤是什么？
最新发布
11-10
ib_write_bw -d mlx5_0 -a -b 100G ``` **预期性能**： | 操作类型 | 延迟 | 吞吐量（100Gb网络） | |------------|---------------|---------------------| | RDMA Write | 5~10 μs | ≈94 Gb/s | | TCP | 30~50 ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值