微知-ib_write_bw的各种参数汇总?如何绑核?三种查看numa节点方式？（-d -q -s -R --run_infinitely,mr_per_qp

1. 背景

经常忘记使用ib_write_bw打流的一些参数，特此整理记录在这里方便快速查阅。尤其是run_infinitely这个参数容易写错。

2. 最简洁

ib_write_bw -d mlx5_0 # server
ib_write_bw -d mlx5_0 1.1.1.1 # client

3. 常用参数

3.1 非常常用

• -d mlx5_0, --ib-dev= 指定ib设备，比如： -d mlx5_0表示用mlx5_0设备
• -q 8 指定qp数量，比如8个qp, --qp=<num of qp’s> Num of qp’s(default 1)。服务器和client都需要指定
• -R 使用rdma_cm建链, --rdma_cm 。服务器和client都需要指定
• --run_infinitely 一直持续的运行，每间隔-D的参数秒打印
• -s 1024指定size大小， --size=

3.2 一般常用

• -D 10, --duration 指定打流时间 比如-D 10 指定10秒
• -a 默认只会用65535的msgsize，这里会使用从2到2^23（8M）大小的size, --all
• -c RC指定类型，默认RC。, --connection=<RC/XRC/UC/DC>
• -i 1 指定IB的port。, --ib-port= Use port of IB device (default 1)
• -m 4096 指定mtu, --mtu= MTU size : 256 - 4096 (default port mtu)
• -p 18516 Listen on/connect to port (default 18515) 指定建链监听端口, --port=
• -u 14 指定qp超时时间，默认, --qp-timeout= QP timeout, timeout value is 4 usec * 2 ^(timeout), default 14 ,约等于 65ms
• --report_gbits使用Gbps的方式报告
• --rate_limit=<rate> 设置最大限速Set the maximum rate of sent packages. default unit is [Gbps]. use --rate_units to change that.

3.3 高阶用法

3.3.1 perftest如何分配多个mr --mr_per_qp

• --mr_per_qp 如果-q指定多个qp，默认用一个内存注册到网卡，该参数会根据每个qp创建内存以及注册多个mr

–mr_per_qp Create memory region for each qp. Relevant only for bandwidth

场景：有些场景要用perftest多个qp，默认是共用一个mr，用该参数可以一个qp对应一个mr，可以增加mr的数量，影响网卡上mkey cache、page cache等参数

3.3.2 如何绑核操作指定固定cpu和内存 numactl --physcpubind=0-3 --membind=0

两种方式绑核操作。taskset直接指定cpu，numactl指定cpu以及还可以指定membind
方法1：taskset仅能管理CPU的亲和性

taskset -c 0,1 ib_write_bw -d mlx5_0 -i 1 -x 3 -s 4096 --report_gbits 1.1.1.0
taskset -c 2,3 ib_write_bw -d mlx5_1 -i 1 -x 3 -s 4096 --report_gbits 1.1.1.0

将在CPUs 2,3运行

方法2：

server: numactl --physcpubind=0-3 --membind=0 ib_write_bw -d mlx5_0 -s 4096
client: numactl --physcpubind=0-3 --membind=0 ib_write_bw -d mlx5_1 1.1.1.0 -s 4096 --report_gbits

numactl 是为 NUMA 架构优化的工具，–physcpubind 仅是其功能之一。它的核心设计目标是 “协调 CPU 核心与内存节点的绑定”，确保进程使用的 CPU 核心和内存均来自同一 NUMA 节点，从而避免远程内存访问延迟。
例如：通过 numactl --physcpubind=0-3 --membind=0 ./app，可让进程同时绑定到 NUMA 节点 0 的核心 0-3，且仅使用节点 0 的本地内存。

其他：
numactl --membind指定的membind的id总的多少个怎么看？（三种numa节点查看方式）
通过lscpu可以查看，也可以通过numactl查看，也可以通过sys文件查看

• lscpu查看 lscpu |grep "NUMA node"
  可以看到1个
  
  另一台：
  

• numactl查看 numactl --hardware
  
  另一台：
  

• sysfs查看： ls /sys/devices/system/node/
  是在