基于KVM两个RDMA端口通信测试 - RoCE传输模式下

原创 已于 2024-01-24 18:57:45 修改 · 797 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#服务器 #linux #网络

于 2024-01-24 18:57:28 首次发布
本文介绍了如何通过在KVM环境中使用RDMA的RoCE技术，验证两个节点(node1和node2)之间的通信。首先确保集群网络连通性，然后通过`ib_send_bw`命令行工具在服务器端和服务端客户端进行带宽测试，以检查连接性和性能。

目的

为验证KVM的RDMA两个节点node1 - node2之间能正常RoCE通信传输，检查三个nodes的集群网，能ping通是测试继续的基础条件

验证步骤

Server和Client进行 ib_send_bw命令行检验，启动server端等待Client的链接，使用带宽测试的参数，只确定连通性。

服务端 node 执行

 ib_sent_bw -a -c UD -d mlx5_0 -i 1

客户端 node

ib_send_bw -a -c UD -d mlx5_0 -i 1 10.20.2.22

redhat7890
关注
Infiniband RDMA 连接性相关测试
Galaxy的博客
08-30 4680
查询设备相关信息 $ ibv_devices //显示系统中目前所有设备 $ ibv_devinfo -d mlx4_0 //查看设备具体信息 测试连接性 使用简单的 ping 程序，比如 infiniband-diags 软件包中的 ibping 测试 RDMA 连接性。ibping（需要root权限） 程序采用客户端/服务器模式。必须首先在一台机器...
RDMA 出现背景、如何实现？如何测试连通性？
郑泽林
12-24 2076
文章目录一、背景：1、传统的 网络通信：2、传统网络通信的问题：二、RDMA :1、出现背景：2、RDMA 简介：3、如何工作：4、RDMA 与 Infiniband 的关系：5、支持 RDMA 的其他协议：6、RDMA 的优势：7、通过 Infiniband 实现 RDMA ：8、如何测试 RDMA 连通性：   一、背景： 1、传统的 网络通信：     &n...
RDMA在KVM实现条件
独自陶醉
01-24 1935
的输出中，每个网络接口都可能包含多个 GID（Global Identifier），每个 GID 表示一个全局唯一标识符，用于唯一标识 InfiniBand 网络中的节点或端口。其中，每个 GID 都会指定一个协议版本，如 RoCE v1 或 RoCE v2。centos8.4自带qemu版本4.2.0，BVT环境已升级至8.0.2，且QEMU需要重新编译。我们把SR-IOV创建出的虚拟网卡称为VF，如下命令可以查看网卡物理端口。我们把SR-IOV创建出的虚拟网卡称为VF，如下命令可以查看网卡物理端口。
精通 KVM 虚拟化（二）
龙哥盟
07-29 746
与网络不同，大多数 IT 人员至少对网络有基本的了解，而存储往往是完全不同的。简而言之，是的，它往往更加复杂。涉及许多参数、不同的技术，而且……坦率地说，有许多不同类型的配置选项和强制执行这些选项的人。还有很多问题。以下是其中一些：我们应该为每个存储设备配置一个 NFS 共享还是两个？我们应该为每个存储设备创建一个 iSCSI 目标还是两个？我们应该创建一个 FC 目标还是两个？每个逻辑单元号LUN）每个目标应该有多少个？我们应该使用何种集群大小？我们应该如何进行多路径处理？
使用GFS集群部署KVM虚拟化平台(实例!!!)
ZT云的博客
12-21 779
实验环境 4台GFS节点服务器做GlusterFS集群,提供存储服务给KVM客户端做虚拟化 服务器角色 IP地址 磁盘空间 gfs-node1 192.168.142.152 40G+40G gfs-node2 192.168.142.154 40G+40G gfs-node3 192.168.142.162 40G+40G gfs-node4 192.168.142....
VMware vSphere五种RDMA应用模型
追寻神迹
04-25 3067
VMware vSphere五种RDMA应用模型 2013-03-27 17:07:48    点击：19   字号：大 中 小 　　RDMA(remotedirectmemoryaccess)是一种远程内存直接访问技术。RDMA可以在不需要操作系统干预下，完成两个主机之间内存数据传输。RDMA技术具有IO延迟低，带宽性能高，主机CPU负载低的特点。vSphere是VMware虚拟化核
RDMA测试集：preftest安装与使用
热门推荐
Eddy的博客
12-06 1万+
perftest是一组基于uverbs编写的测试程序，是RDMA性能相关的benchmark。可用于软硬件调优以及功能测试。
专家解读：NFV如何解决AI算力网络的通信瓶颈问题
AI天才研究院
07-09 585
随着AI模型规模呈指数级增长（从百万参数到千亿参数），算力需求已达到前所未有的水平，而通信基础设施正成为释放AI算力潜能的关键瓶颈。本分析系统阐述网络功能虚拟化(NFV)如何通过软件定义架构、动态资源分配和智能流量管理，从根本上重构AI算力网络的通信范式。通过将传统硬件网络功能转化为可编程软件实例，NFV实现了AI工作负载与网络资源的协同优化，显著提升了数据传输效率、降低了通信延迟并提高了资源利用率。
RDMA与传统网络通信深度对比：分析性能优势及应用场景
RDMA技术作为一种革新性的数据传输技术，正逐渐成为提升网络通信性能的关键技术。本论文首先对RDMA技术进行了全面的概述，并与传统网络通信机制进行了对比，突出了RDMA在减少CPU和内存使用、降低延迟以及提高吞吐量...
【MLNX-OFED深度剖析】：掌握Mellanox RDMA在最新文档中的关键应用
Mellanox RDMA技术作为高速网络通信的关键，对于数据中心和高性能计算环境的性能提升至关重要。本文首先介绍了Mellanox RDMA技术的基本概念和MLNX-OFED的安装与配置要点，包括软件包的获取、安装步骤、网络接口的...
IB(InfiniBand网卡性能测试结果)
05-15
InfiniBand网卡的性能测试结果,可以得到当前最快的InfiniBand网卡的性能指标。
【云平台低延迟秘籍】：虚拟化环境下的RDMA应用实践
RDMA（远程直接内存访问）技术因其在数据传输上的低延迟和高吞吐量优势，已被广泛应用于高性能计算和大数据处理领域。本文首先介绍了RDMA技术的原理及其在虚拟化环境下的配置方法，包括软硬件需求和配置步骤。其次，...
int vhost_rdma_qp_init(struct vhost_rdma_dev *dev, struct vhost_rdma_qp *qp, struct virtio_rdma_cmd_create_qp *cmd) { int err; qp->pd = vhost_rdma_pool_get(&dev->pd_pool, cmd->pdn); qp->scq = vhost_rdma_pool_get(&dev->cq_pool, cmd->send_cqn); qp->rcq = vhost_rdma_pool_get(&dev->cq_pool, cmd->recv_cqn); vhost_rdma_add_ref(qp->pd); vhost_rdma_add_ref(qp->rcq); vhost_rdma_add_ref(qp->scq); vhost_rdma_qp_init_misc(dev, qp, cmd); err = vhost_rdma_qp_init_req(dev, qp, cmd); if (err) goto err; err = vhost_rdma_qp_init_resp(dev, qp); if (err) goto err; qp->attr.qp_state = VIRTIO_IB_QPS_RESET; qp->valid = 1; qp->type = cmd->qp_type; qp->dev = dev; return 0; err: qp->pd = NULL; qp->rcq = NULL; qp->scq = NULL; vhost_rdma_drop_ref(qp->pd, dev, pd); vhost_rdma_drop_ref(qp->rcq, dev, cq); vhost_rdma_drop_ref(qp->scq, dev, cq); return err; }
03-29
此函数用于初始化一个虚拟化RDMA设备（`vhost_rdma_dev`）的队列对（Queue Pair, QP），属于RDMA虚拟化驱动层（如KVM或容器场景）的底层实现。核心任务包括： 1. **资源分配**：从设备资源池中获取QP所需的保护域...
Infiniband 网络性能测试
zerotoall的博客
05-06 4409
Infiniband 网络性能测试，内含网卡绑定cpu中断号的方法
RDMA 常用测试命令(server/client)
mounter625的专栏
03-10 2620
#bandwidth echo "ib_send_bw" ib_send_bw -n 10000 -d irdma1 -i 1 -F --report_gbits --use_old_post_send -I 96 > /dev/NULL & sleep 3 ib_send_bw -n 10000 -d irdma1 -i 1 -F --report_gbits --use_old_post_send -I 96 192.168.1.2 sleep 3 echo "ib_read_bw" ib
Ceph Async RDMA网络通信性能优化
国产CAx(CAD/CAE/CAM)软件研发
07-13 3830
网络通信的优化汇总 济南友泉软件有限公司 目录 一、 现有代码分析 1.1. Reactor模型 1.1.1. Reactor模型的优点 1.1.2. Reactor模型的优点. 1.2. 有限状态机模型 1.3. Async模块 1.2.1. Async工作原理 1.2.2. Async主要组件 1.4. RDMA 1.3.1. RDMA三种不同的硬件实现 1.3.2....
【报错处理】ib_write_bw执行遇到Found Incompatibility issue with GID types.原因与解决办法
技术札记
04-30 1265
Server设置了IP地址，Client未设置IP地址（初期启动，环境中没有DHCP服务器）。ib_write_bw在Client端连接server时认为使用不同的IP version。命令: ib_write_bw 1.1.1.1。
ib网卡命令_infiniband网卡安装、使用总结
weixin_39996496的博客
12-21 8058
最近多次安装、使用infiniband网卡，每次都要到处寻找相关资料，所以决定做此总结，方便查找。1. 基础知识首先，得了解什么是RDMA，贴几个资料：然后得了解如何实现，这两个可以有个初步了解：编程过程，真正有用的还是官方的手册：mellanox官方社区能找到很多你需要的东西：也下了个中文版，但我感觉英文版看着更好。RDMA编程入门可参考的项目：2. 驱动安装下载驱动，进入网站选择相应系统和软件...
perftest测试
Eddy的博客
05-01 3562
Perftest 是一组基于uverbs编写的测试程序，是RDMA性能相关的micro-benchmark。可用于软硬件调优以及功能测试。
rdma协议测试
最新发布
07-19
<think>我们正在讨论如何测试RDMA协议的性能。根据之前的对话历史和引用资料，我们可以总结出以下关键点： 1. 引用[1]提供了一个RDMA测试的示例结果：在5000次64KB数据传输中，峰值带宽52.38 MB/s，平均带宽19.85 MB/s，消息传输速率318包/秒。这提示我们测试时要注意传输次数、传输大小、带宽指标等。 2. 引用[2]介绍了RDMA的技术背景，包括两大组织（IBTA和RDMAC/IETF）以及三种实现（InfiniBand, RoCE, iWARP）。测试时需要注意协议类型（如RoCE或InfiniBand）可能影响测试方法。 3. 引用[3]指出IPoIB性能低于RDMA通信方式，因此测试时要确保直接使用RDMA（而不是IPoIB）以获得高带宽低延迟。 根据用户当前问题“我想测试RDMA协议的性能或方法 请问如何测试RDMA协议的性能”，结合之前的回答（已详细介绍了测试步骤），我们需要更聚焦于“协议性能”测试的具体方法。 因此，本回答将重点放在： - 测试工具选择（如perftest） - 测试指标（带宽、延迟等） - 测试步骤（如何执行不同类型的测试） - 结果解读 同时注意引用文献的融入。</think>### RDMA协议性能测试方法 测试RDMA协议性能需通过专业工具测量**带宽、延迟、消息速率**等核心指标，以下为详细步骤（基于Linux环境）： --- #### 1. **测试工具准备** 使用`perftest`工具集（专为RDMA硬件基准测试设计）： ```bash # CentOS/RHEL安装 yum install perftest rdma-core # Ubuntu安装 apt install perftest rdma-core ``` 关键工具： - `ib_send_bw`/`ib_send_lat`：测试SEND操作的带宽/延迟 - `ib_write_bw`/`ib_write_lat`：测试RDMA Write操作的带宽/延迟 - `ib_read_bw`/`ib_read_lat`：测试RDMA Read操作的带宽/延迟 > ⚠️ 注意：避免使用IPoIB（基于IP的InfiniBand），其性能显著低于原生RDMA[^3]。 --- #### 2. **基础性能测试流程** 需两台直连的RDMA主机（Server & Client），以**RDMA Write带宽测试**为例： - **Server端启动服务**： ```bash ib_write_bw -d mlx5_0 -x 1 -s 64K -n 5000 --report_gbits ``` 参数说明： - `-d mlx5_0`：指定RDMA设备（通过`ibv_devinfo`查看） - `-s 64K`：设置单次传输大小为64KB（引用[1]测试用例） - `-n 5000`：总传输次数（与引用[1]一致） - `--report_gbits`：结果以Gbps为单位 - **Client端发起测试**： ```bash ib_write_bw -d mlx5_0 -x 1 -s 64K -n 5000 --report_gbits <Server_IP> ``` --- #### 3. **结果解读与性能指标** 测试完成后输出关键指标： ```plaintext BW=52.38 MB/sec # 峰值带宽（引用[1]实测值） Average BW=19.85 MB/sec # 平均带宽 MsgRate=318 msg/sec # 消息传输速率 ``` **性能优化方向**： - **低带宽问题**：检查网卡协商模式（需100Gbps全双工）、CPU亲和性（`taskset`绑定核心） - **高延迟问题**：关闭CPU节能模式（`cpupower frequency-set -g performance`） - **协议选择**：RoCEv2（基于UDP）延迟通常低于iWARP（基于TCP）[^2] --- #### 4. **高级测试场景** | 测试类型 | 工具 | 应用场景 | |-------------------|-------------------|----------------------------| | **原子操作性能** | `ib_atomic_bw` | 分布式锁、数据库事务 | | **读/写混合负载** | 自定义`ib_*`脚本 | 存储系统（如NVMe over Fabrics）| | **大规模并发** | `-t 16 -Q 1` | 多队列测试（16线程+1QP） | > 💡 **真实案例**：引用[1]中64KB数据包测试显示，**消息速率318 msg/sec**可能受限于PCIe带宽或内存复制开销，需结合`perf`工具分析瓶颈。 --- #### 5. **协议实现差异对比** 不同RDMA协议的性能特征（引用[2]）： | 协议 | 延迟 | 带宽 | 网络要求 | |------------|------------|------------|------------------| | **InfiniBand** | 0.5~1 μs | 100+ Gbps | 专用交换机和网卡 | | **RoCEv2** | 1~2 μs | 90+ Gbps | 支持PFC的以太网 | | **iWARP** | 5~10 μs | 80+ Gbps | 标准TCP/IP网络 | > ✅ **最佳实践**： > - 使用`ibv_rc_pingpong`验证端到端RDMA连接性 > - 通过`ethtool -k <网卡>`检查GRO/GSO等卸载功能是否启用
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值