如何选择QP类型-RDMAmojo

最新推荐文章于 2025-03-05 01:15:00 发布
原创 最新推荐文章于 2025-03-05 01:15:00 发布 · 1.1k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rdma #infiniband #网络编程

RDMAmojo文章探讨了在RDMA应用中选择正确Queue Pair(QP)类型的重要性。RC QP提供可靠连接，确保数据有序无损传输；UC QP不保证可靠性，适合大型数据传输；UD QP支持多播，适用于大规模网络和可靠性不敏感场景。选择合适的QP类型对应用的性能和可扩展性至关重要。

如何选择QP类型-RDMAmojo

本文是对RDMAmojo文章的翻译，由于网站长久未更新，也作保留用

英文原文

文章目录


当编写一个一个新的RDMA应用的时候（就如同编写新的Socket的应用一样），开发者应当确定应该选择哪一种QP用于开发。

在这一章，我会详细分析这几种不同的传输方式。

在RDMA中，有几种不同的QP类型，他们可以用这种方式表示：XY

​ X可以是：

​ Reliable(可靠的)：保证消息最多被传递一次，有序并且无损坏

​ Unreliable(不可靠)：不保证消息一定会被送达，不保证有序送达

​ 在RDMA传输中，每一个数据包都有一个CRC*字段，发生损坏的数据包将会被丢掉（对于任何一种传输方式都一样），QP传输的可靠性指的是全部数据的可靠性。

​ Y可以是：

​ Connected(连接的)：一个QP只能与另一个特定QP之间进行发送/接收操作

​ Unconnected(非连接的)：一个QP可以与任意一个QP之间进行发送/接收操作

以下机制被用于RDMA传输过程中

*CRC：数据包中的CRC字段被用于验证数据在传输过程中未发生损坏

*PSN：数据包的序列编号，用于接收方检测数据包有没有按序到达，可以用于检测数据包丢失或者冗余。

*Acknowledgement：(仅用于RC 传输中)只有当数据被成功写入接收方后，一个ack应答数据包会被发送回数据发送方。如果发送方未收到ack，它将会根据QP的属性再次发送数据。如果从一个QP中无法收到任何ACK，它将会报告发生错误(retry exceeded)。如果接收方发生任何类型的错误(保护域冲突，资源无法访问等)，接收方将发送ack给发送方，以此向接收方报告错误。

Rliable Connected(RC) QP 可靠连接

一旦一个RC QP与另一个特定的RC QP通过可靠方式建立了连接(比如发送或接收数据)。它将确保数据在传输过程中最多被传递一次，有序且无损坏。支持的最大单次传输数据为2GB(根据支持的RDMA设备的属性不同，这一值可能更低)（译者注：本文写于2013年，这一数据可能已经改变）。RC QP支持发送Send操作(可添加immediate)，RDMA write操作(可添加immediate)，RDMA Read操作和Atomic原子操作（具体情况参考RDMA设备支持的操作等级）

如果数据大小大于路径MTU，数据包将在发送侧被分组，在接收方重组

接收方收到数据并将数据写入内存后，将会向发送方发送ACK，发送方收到ACK认为数据发送完成。

当数据成功读取/写入缓存后，接受方认为数据传输完成。

Unreliable Connected(UC) QP 不可靠连接

一旦一个UC QP与另一个特定的UC QP通过不可靠方式建立连接比如发送或接收数据)。它并不确保数据一定会被另一方收到：损坏的包或者乱序的包会被静默地丢掉。一旦一个数据包被丢弃，那包含它的整个数据都将全部丢弃。在这种情况下，接收方不会停止工作，而是会继续接受到来的数据包。并且这种传输方式也不保证数据包的顺序。它所支持的单词最大传输数据为为2GB(根据支持的RDMA设备的属性不同，这一值可能更低)（译者注：本文写于2013年，这一数据可能已经改变）。RC QP支持发送Send操作(可添加immediate)，RDMA write操作(可添加immediate)。

如果数据大小大于路径MTU，数据包将在发送侧被分组，在接收方重组

当数据全部发送到链路中后，发送方就认为数据发送完成

当接收方完整接收全部数据，且数据顺序正确，并将数据写入缓存后，接收方认为数据传输完成。

Unreliable Datagram(UD) QP 不可靠数据报

一个QP可以不可靠的方式以单播(一对一)或多播(一对多)的方式向任何其他UD QP发送和接收消息。它并不确保数据一定会被另一方收到：损坏的包或者乱序的包会被静默地丢掉。一旦一个数据包被丢弃，那包含它的整个数据都将全部丢弃。最大支持的消息大小是最大的pmtu，UD QP仅支持Send操作。

当数据全部发送到链路中后，发送方就认为数据发送完成

一旦接收到完整的消息，Responder就认为消息操作已经完成，并将数据写入其(本地)内存。

选择正确的QP类型

选择正确的QP类型对于应用程序的正确性和可拓展至关重要

RC QP应当在这种情况下被选择：

  • 链路传输中要求传输的可靠性

  • 整个链路的规模不是很大，或者集群的规模很大但是不是所有节点都向同一个节点发送数据

RC QP的几种用途可以是:RDMA上的FTP或RDMA上的文件系统

UC QP应当在这种情况下被选择：

  • 链路传输中并不要求可靠性（比如可靠性完全不重要，或者可靠性由应用层来确保）

  • 整个链路的规模不是很大，或者集群的规模很大但是不是所有节点都向同一个节点发送数据

  • 用于发送大型数据(大于路径MTU)

UC QP的一个用途可以是:RDMA视频。

UD QP应当在这种情况下被选择：

  • 链路传输中并不要求可靠性（比如可靠性完全不重要，或者可靠性由应用层来确保）
  • 整个链路的规模很大并且所有节点都向任意节点发送数据。UD是解决可拓展性问题的最优方案之一
  • 需要数据多播

UD QP的一个用途是:通过RDMA进行语音。

总结

MetricUDUCRC
Opcode: SEND (w/o immediate)SupportedSupportedSupported
Opcode: RDMA Write (w/o immediate)Not supportedSupportedSupported
Opcode: RDMA ReadNot supportedNot supportedSupported
Opcode: Atomic operationsNot supportedNot supportedSupported
ReliabilityNoNoYes
Connection typeDatagram (One to any/many)Connected (one to one)Connected (one to one)
Maximum message sizeMaximum path MTU2 GB2 GB
MulticastsupportedNot supportedNot supported
MarsYYP
关注
RDMA-QP状态转换
qq_38158479的博客
10-24 1758
RDMA QP state
如何使用rdma-core来实现RDMA操作
嵌入式技术开发
07-29 3427
rdma-core 是一个开源项目，为远程直接内存访问（RDMA）提供用户空间的支持。它包括 RDMA 设备的驱动程序、库和工具，旨在简化 RDMA 应用的开发和部署。
RDMA的3种Queue Pair类型
684的博客
02-26 2293
本文翻译自英文博客，原文地址：https://www.rdmamojo.com/2013/06/01/which-queue-pair-type-to-use/ 在编写RDMA应用程序时(就像在套接字上编写应用程序时一样)，应该决定使用哪种QP类型。 在这篇文章中，我将详细描述每种传输类型的特征。 在RDMA中，有三种QP类型。它们可以表示为: XY X可以是: ...
[RDMA]QP相关介绍（二）——QP State Machine
jj0709的博客
01-05 3579
Modify QPModify QPModify QPModify QP—RQ WR发布，但不处理RQ WR。如果QP接收任何入站请求包，应将其丢弃。—禁止SQ WR发布与处理。—RQ 发布与处理。RQ Logic可以处理入站message。如果是RC或RD QP，将生成远端QP的SQ Logic将接收的请求包的响应。—禁止SQ WR发布与处理。—WR可同时发布到SQ与RQ。—两个队列上的WR都会被处理。SQ Logic可以处理SQ WQE，并生成向远端QP的RQ Logic发送的出站请求包。
【verbs】ibv_get_async_event()
我的笔记本
10-07 1195
原文：ibv_get_async_event() - RDMAmojo RDMAmojo 描述 ibv_get_async_event() 读取 RDMA 设备上下文context的下一个异步事件。 在调用 ibv_open_device() 之后，所有异步事件都被加入到这个上下文中，并且调用 ibv_get_async_event() 将按照它们的顺序一个一个地读取它们。即使 ibv_get_async_event() 在事件生成后很长时间被调用，它仍然会首先读取较旧的事件。不幸的是，事件没有任何时
[RDMA]QP相关介绍（一）——QP Verbs
jj0709的博客
01-03 2157
与QP创建、管理和销毁相关的verbs有:Create QPModify QPQuery QPDestroy QP。
【RDMA】qp数量和RDMA性能（节选翻译）|连接数
我的笔记本
02-15 5443
https://icnp21.cs.ucr.edu/papers/icnp21camera-paper30.pdf 在现代云数据中心中，大规模分布式应用通常构建在许多机器上，需要使用大量并发连接进行频繁的网络通信[4]–[6]。但是，RDMA的性能会随着连接数的增加而降低。我们的测试台测量（图1）表明，即使是最新的RNIC要保持峰值性能最多能支持450个并发连接，（详细设置见§II-B） 从本质上讲，RDMA可扩展性以上的问题是CPU减负的副作用。为了在不涉及主机CPU的情况下完成网络传输和.
【RDMA】22. RDMA之基于Socket API的QP间建链--未消化
小鱼菜鸟的博客
07-22 708
转自：https://zhuanlan.zhihu.com/p/476407641 作者：Savir 本文欢迎非商业转载及引用，转载及引用请注明出处。 建链，即建立链接(或者连接)。在RDMA技术中，本端和对端的QP之间在建立连接之后才可以通过RDMA协议进行数据交换。我们可以认为建链是正式进行RDMA通信之前所必须进行的准备工作，在建链的过程中，...
【RDMA】23. RDMA之基于CM API的QP间建链--未消化
小鱼菜鸟的博客
07-22 708
【RDMA】RDMA 学习资料总目录_bandaoyu的博客-优快云博客SavirRDMA 分享1. RDMA概述https://blog.youkuaiyun.com/bandaoyu/article/details/112859853https://zhuanlan.zhihu.com/p/1388747382. 比较基于Socket与RDMA的通信https...
struct ibv_qp_attr attr = { .qp_state = IBV_QPS_INIT, .pkey_index = 0, .port_num = port, .qp_access_flags = IBV_ACCESS_REMOTE_WRITE // 权限控制 }; ibv_modify_qp(qp, &attr, IBV_QP_STATE | ...); 这两句代码主要是干嘛
最新发布
09-24
此为可靠连接(QP类型`IBV_QPT_RC`)的必需路径 3. **关键限制**： - INIT状态下无法发送/接收数据包 - 必须完成此配置才能进行后续`RTR`（准备接收）设置 - 未设置端口绑定将导致后续连接失败 #### 四、权限控制...
【RDMA】22. RDMA之基于Socket API的QP间建链
我的笔记本
06-11 3402
本文欢迎非商业转载及引用，转载及引用请注明出处。建链，即建立链接（或者连接）。在RDMA技术中，本端和对端的QP之间在建立连接之后才可以通过RDMA协议进行数据交换。我们可以认为建链是正式进行RDMA通信之前所必须进行的准备工作，在建链的过程中，两个节点间会通过某些方式交换一些用于之后的RDMA通信所必须的参数。本文将向大家介绍RDMA建链的目的，并重点讲解基于Socket API的建链方式，包括建链流程、建链交互的内容等等。最后我们将做一个实验，通过基于libibverbs库编写的示例程序、结合抓包巩固本
9. RDMA之Queue Pair
weixin_39094034的博客
10-30 2188
QPC全称是Queue Pair Context
QP服务类型
耕田人的博客
09-02 1113
确认：（仅在RC QP中）只有在响应方成功写入消息之后，才会将ack数据包发送回请求方。 如果请求者未发送确认，它将根据QP的属性重新发送邮件。 如果没有来自QP的确认（或否定），它将报告存在错误（超过重试次数）。 如果响应方发生任何类型的错误（保护，资源等），则将向请求方发送一个确认，并报告存在错误。 译自：https://www.rdmamojo.com/2013/06/01/which-queue-pair-type-to-use/ 可靠连接（RC）QP 一个RC QP以可靠的方式连接.
RDMA简介
杰特JET的博客
12-14 1478
RDMA简介简介rdma和普通的tcp/ip有什么不同tcp网络收发过程涉及的缓冲区名词RDMA操作细节RDAM单边操作 (RDMA READ)RDMA 单边操作 (RDMA WRITE)RDMA 双边操作 (RDMA SEND/RECEIVE)编程步骤参考链接 简介 Remote data transfers between nodes in a network Direct no Operating System Kernel involvement in transfers everythin
深入解析IPoIB中Reliable Connection（RC）模式的配置与应用
数字人生
03-05 270
Unreliable Datagram（UD）模式（默认）：无连接传输，不保证数据包顺序与可靠性。适用于广播/组播及对延迟敏感的场景。最大传输单元（MTU）受限（通常为4KB）。Reliable Connection（RC）模式面向连接的可靠传输，支持顺序交付、流量控制与自动重传。适合需要高可靠性的场景（如存储协议iSCSI、NVMe over Fabrics）。支持更大的MTU（最高65KB），提升吞吐量。
QUIC不可靠的数据报扩展(An Unreliable Datagram Extension to QUIC)
sjtu_ysw的博客
05-09 1084
QUIC不可靠的数据报扩展 P.S. QUIC出了数据包扩展，允许QUIC数据包丢包而不重传，这样QUIC可以更好地适应低延迟媒体传输场景，例如RTC场景。个人认为这一步其实在向WebRTC靠拢，之前一直有传闻说考虑把WebRTC的底层协议换成QUIC，但是当时存在很多问题，其中一个大问题就是QUIC不允许丢包，会自动进行重传，这在RTC领域明显是不合适的。但是即使QUIC现在支持丢包，要把QUIC放进WebRTC还是要解决相当多的问题，加密的重复？QUIC拥塞控制与WebRTC的拥塞控制配合？另外，替换后
RDMA服务类型（二）
zz2633105的博客
08-08 4633
参考IB协议版本V1.4：https://download.youkuaiyun.com/download/zz2633105/88148107参考知乎文章《RDMA基本服务类型》：https://zhuanlan.zhihu.com/p/144099636。
【RDMA】5. RDMA基本服务类型
我的笔记本
01-21 3531
我们在“3. RDMA基本元素”一文中提到过，RDMA的基本通信单元是QP，而基于QP的通信模型有很多种，我们在RDMA领域称其为“服务类型”。IB协议中通过“可靠”和“连接”两个维度来描述一种服务类型。 可靠 通信中的可靠性指的是通过一些机制保证发出去的数据包都能够被正常接收。IB协议中是这样描述可靠服务的： Reliable Serviceprovides a guarantee that messages are delivered from a requester to a responde.
【RDMA】qp数量和RDMA性能（节选）|连接数
小鱼菜鸟的博客
07-22 1386
目录 QP数量上升性能下降 QP数量上升性能下降的原因 作者：bandaoyu,原始连接：https://blog.youkuaiyun.com/bandaoyu/article/details/122947096?spm=1001.2014.3001.5502 QP数量上升性能下降 ​​​​​​https://icnp21.cs.ucr.edu...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值