【RDMA】12. RDMA之Verbs

最新推荐文章于 2024-12-04 17:07:56 发布

bdview

最新推荐文章于 2024-12-04 17:07:56 发布

阅读量497

点赞数

CC 4.0 BY-SA版权

文章标签：内核 python linux java 编程语言

本文链接：https://blog.youkuaiyun.com/weixin_42319496/article/details/119371680

本文解析了RDMA领域的Verbs概念，介绍了Verbs API的两种含义：一是由IB规范定义的行为规范；二是OpenFabrics提供的RDMA应用编程接口。文章详细阐述了Verbs API的组成部分、设计原因及如何使用这些API编写RDMA应用程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文：https://zhuanlan.zhihu.com/p/329198771

Verbs直译过来是“动词”的意思，它在RDMA领域中有两种含义：

1) 由IB规范所描述的一组抽象定义，规定了各厂商的软硬件在各种Verbs下应该执行的动作或者表现出的行为，IB规范并未规定如何编程实现这些Verbs，在这种含义下，Verbs是与操作系统无关的。

举个例子，IB规范要求所有RDMA设备必须支持Create QP的行为(IB 规范11.2.5.1)：

描述：
为指定的设备创建一个QP。
用户必须指定一组用于初始化QP的属性。
如果创建QP所需的属性有非法值或者缺失，那么应该返回错误，该QP不会被创建；如果成功，那么返回该QP的指针和QPN。
……
输入：
设备指针；
SQ关联到的CQ；
RQ关联到的CQ，如果是XRC的INI QP，则可以不携带此参数；
……
输出：
新创建的QP的指针；
QP Number;
SQ的最大WR容量。
……

可以看出IB规范中的Verbs，就像教科书中对一个概念进行定义，讲的是“需要支持什么，但具体怎么实现我不做规定”。

2) 由OpenFabrics推动实现的一组RDMA应用编程接口(API)。既然是API，那么必然和运行的操作系统相关。Verbs API有Linux版本以及Windows版本(Windows版很久没有更新了)。

我们还是以Create QP为例，下文引用自Linux用户态Verbs API的帮助文档(ibv_create_qp(3): create/destroy queue pair)：

名称：
ibv_create_qp - create a queue pair (QP)
概要：

#include <infiniband/verbs.h>
struct ibv_qp ibv_create_qp(struct ibv_pd pd, struct ibv_qp_init_attr *qp_init_attr);

描述：
ibv_create_qp()通过一个关联的PD创建一个QP，参数qp_init_attr是一个ibv_qp_init_attr类型的结构体，其定义在<infiniband/verbs.h>中。

struct ibv_qp_init_attr {
struct ibv_cq          *send_cq;        /* CQ to be associated with the Send Queue (SQ) */
struct ibv_cq          *recv_cq;        /* CQ to be associated with the Receive Queue (RQ) */
struct ibv_srq         *srq;            /* SRQ handle if QP is to be associated with an SRQ, otherwise NULL */
struct ibv_qp_cap       cap;            /* QP capabilities */
enum ibv_qp_type        qp_type;        /* QP Transport Service Type: IBV_QPT_RC, IBV_QPT_UC, or IBV_QPT_UD */
...
};