RDMA建链的3次握手和断链的4次挥手流程？

原创 已于 2024-06-25 23:56:57 修改 · 1.9k 阅读 · 35 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#rdma #rdma_cm

于 2024-06-25 23:56:35 首次发布

文章目录

基础信息

在这里插入图片描述

  • CM: Communication Management 通信管理 连接管理
  • SIDR: Service ID Resolution Protocol. 作用： enables users of Unreliable Datagram service to locate Queue Pairs supporting their desired service.
  • MAD： Management Datagrams 管理报文
  • GSI：General Services Interface 通用服务接口
  • QP1：专用与rdma cm建链
  • 分为server端和client端，在RDMA中server端叫passive端（被动）、client端叫active端（主动）

建链 3次握手

在这里插入图片描述

  • req包、rep包、RTU包，rdma中叫做msg
  • Request (REQ) message，
  • Response (REP) message，
  • RTU：Ready To Use。 在内核消息处理中收到该msg之后，会将qp attribute设置RTS和RTR。 read to send ；read to re
最低0.47元/天 解锁文章
RDMA CM带内建链过程 Linux 实现分析
fanliyu的专栏
10-17 1781
rdma cm带内建链过程的标准verbs库及Linux内核IB协议实现分析
【RDMA】23. RDMA之基于CM API的QP间建链--未消化
小鱼菜鸟的博客
07-22 570
【RDMA】RDMA 学习资料总目录_bandaoyu的博客-优快云博客SavirRDMA 分享1. RDMA概述https://blog.youkuaiyun.com/bandaoyu/article/details/112859853https://zhuanlan.zhihu.com/p/1388747382. 比较基于Socket与RDMA的通信https...
【RDMA】librdmacm库和连接建立过程
bandaoyu的note
10-19 9297
它为建立连接提供了一个RDMA传输中立的接口。5. rdma_get_cm_event：等待带有新的rdma_cm_id的RDMA_CM_EVENT_CONNECT_REQUEST事件。8. rdma_get_cm_event：等待RDMA_CM_EVENT_ROUTE_RESOLVED事件。4. rdma_get_cm_event：等待RDMA_CM_EVENT_ADDR_RESOLVED事件。15. rdma_get_cm_event：等待RDMA_CM_EVENT_DISCONNECTED事件。
RDMA RoCev2 CM建链和Socket建链测试
jacicson1987的专栏
07-11 4309
RDMA在高性能计算，AI大模型训练中发挥着重要的作用。主流支持RDMA的协议有IB、RoCev1、RoCev2、iWARP。其中RoCev2是应用最广泛的协议，因为其RDMA over UDP/IP，不依赖昂贵的IB网络设备，同时支持路由，性能上也接近原生IB水准。
22. RDMA之基于Socket API的QP间建链
weixin_39094034的博客
11-01 1439
建链，即建立链接（或者连接）。在RDMA技术中，本端和对端的QP之间在建立连接之后才可以通过RDMA协议进行数据交换。我们可以认为建链是正式进行RDMA通信之前所必须进行的准备工作，在建链的过程中，两个节点间会通过某些方式交换一些用于之后的RDMA通信所必须的参数。
【RDMA】22. RDMA之基于Socket API的QP间建链
bandaoyu的note
06-11 2855
本文欢迎非商业转载及引用，转载及引用请注明出处。建链，即建立链接（或者连接）。在RDMA技术中，本端和对端的QP之间在建立连接之后才可以通过RDMA协议进行数据交换。我们可以认为建链是正式进行RDMA通信之前所必须进行的准备工作，在建链的过程中，两个节点间会通过某些方式交换一些用于之后的RDMA通信所必须的参数。本文将向大家介绍RDMA建链的目的，并重点讲解基于Socket API的建链方式，包括建链流程、建链交互的内容等等。最后我们将做一个实验，通过基于libibverbs库编写的示例程序、结合抓包巩固本
【RDMA】22. RDMA之基于Socket API的QP间建链--未消化
小鱼菜鸟的博客
07-22 616
转自：https://zhuanlan.zhihu.com/p/476407641 作者：Savir 本文欢迎非商业转载及引用，转载及引用请注明出处。 建链，即建立链接(或者连接)。在RDMA技术中，本端和对端的QP之间在建立连接之后才可以通过RDMA协议进行数据交换。我们可以认为建链是正式进行RDMA通信之前所必须进行的准备工作，在建链的过程中，...
告诉你如何同时拿到腾讯两个部门的offer？
L的存在的博客
07-14 3160
文章目录1、注册和投递简历2、第一个开发岗面试3、第二个开发岗面试4、两个部门系统技术（运维）岗面试5、总结 读者在读小硕，先恭喜读者获得了腾讯的offer，下面看看都经历了什么。在2020年年末参加了腾讯的提前批实习生招聘，共被面试官从简历池里面捞了四次，当然第一次纯属偶然，是面试官看错我的面试岗位，本人投的技术运维岗位，但第一次面试官是C/C++后台开发岗，之后就是同时开始三个岗位的面试（疑惑还可以这样来），分别是一个C/C++开发岗，一个是云计算部门的技术运维岗，一个是云虚拟化部门的技术运维岗位，最
AI算力网络通信协议全解析：从TCP_IP到InfiniBand
最新发布
AI算力网络与通信的博客
06-22 908
随着AI大模型训练（如GPT-4、BERT）和AI推理（如实时图像识别）需求的爆发，算力网络的规模从“几台服务器”扩展到“几万张GPU集群”。此时，通信延迟和带宽成为制约AI性能的关键瓶颈——就像100个人同时打电话，线路不够快的话，再聪明的人也聊不成天。本文将聚焦AI算力网络中最核心的两类通信协议：传统通用的TCP/IP与高性能专用的InfiniBand，解析它们的技术原理、差异与应用场景。用“快递运输”故事引入通信协议的核心问题；解析TCP/IP、InfiniBand、RDMA等核心概念；
23. RDMA之基于CM API的QP间建链
weixin_39094034的博客
11-01 2630
CM这一缩写有多重含义，它既可以指协议，也可以指RDMA网络中的一个管理角色，还可以指编程接口（API）。
rdma编程
fellow0305的专栏
10-23 6650
在分布式应用中，用以太网组网往往成为性能的瓶颈，所以需要低时延大带宽，使用RDMA传输协议，能满足低时延要求。目前有两张硬件可以使用RDMA传输，一个是infiniband，一个是RDMA over Ethernet，由于IB的成本较高，所以RoCE成为一种趋势。 RoCE可以在以太网上运行RDMA协议，时延比普通以太网可以提升30%以上，也可以支持双协议栈，同时用TCP和RDMA，编程过程类似
rdma 编程详解
02-14 3253
1.相关名词解释 1.1 rdma-core 指开源RDMA用户态软件协议栈，（用户空间的驱动）包含用户态框架、各厂商用户态驱动、API帮助手册以及开发自测试工具等。 rdma-core在github上维护，我们的用户态Verbs API实际上就是它实现的。https://github.com/linux-rdma/rdma-core 1.2 kernel RDMA subsystem 指开源的Linux内核中的RDMA子系统，（内核空间的驱动）包含RDMA内核框架及各厂商的驱动。 RDMA子系统.
[RDMA]WRs&WQEs&CQEs
jj0709的博客
01-10 2217
一旦WR发布到QP的SQ或RQ，通常被解释为Work Queue Entry（WQE）。SQ与RQ有时会被称为工作队列（WR）。本文主要介绍RDMA中有关WR、WQE以及CQE的相关内容。
【RDMA】9. RDMA之Queue Pair
bandaoyu的note
01-25 3981
原文：https://zhuanlan.zhihu.com/p/195757767 Queue Pair 我们曾经在3. RDMA基本元素一文中简单的介绍了QP的概念，本文将更深入的讲解一些关于QP的细节。 基本概念回顾 首先我们来简单回顾下关于QP的基础知识： 根据IB协议中的描述，QP是硬件和软件之间的一个虚拟接口。QP是队列结构，按顺序存储着软件给硬件下发的任务（WQE），WQE中包含从哪里取出多长的数据，并且发送给哪个目的地等等信息。 QP的概念 每个QP间都是独立的，彼此通.
RDMA 架构与实践(技术详解（一）：RDMA概述)
bandaoyu的note
04-14 9172
RDMA 架构与实践 | https://houmin.cc/posts/454a90d3/ RDMA，即Remote Direct Memory Access，是一种绕过远程主机OS kernel访问其内存中数据的技术，概念源自于DMA技术。在 DMA 技术中，外部设备（PCIe 设备）能够绕过 CPU 直接访问host memory；而 RDMA 则是指外部设备能够绕过 CPU，不仅可以访问本地主机的内存，还能够访问另一台主机上的用户态内存。由于不经过操作系统，不仅节省了大量 CPU 资源......
RDMA 相关 简要摘录
weixin_30859423的博客
08-31 279
RDMA (Remote Direct Memory Access) 全称为 远程直接内存访问 其出现的目的：为了解决网络传输中服务端数据处理的延迟而产生的。其将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这允许高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。RDMA通过网络把资料直接传入计算机的存储区，将数据从一个系统快速移动到远程系统存储...
微知-RDMA中的四大M，以及Mellanox驱动中的MAD为什么叫MA的D？（managent agent、Management Datagrams）
技术札记
10-22 605
RDMA中建链除了有TCP方式，还有有CM建链。CM建链是指用带内通信进行建链。带内就是指通过RDMA链路进行建链。这里的CM是communication Management。这里的CM看似是一个简单的communication的Management，实际是RDMA中四大M的一种M。
[RDMA]QP相关介绍（二）——QP State Machine
jj0709的博客
01-05 2677
Modify QPModify QPModify QPModify QP—RQ WR发布，但不处理RQ WR。如果QP接收任何入站请求包，应将其丢弃。—禁止SQ WR发布与处理。—RQ 发布与处理。RQ Logic可以处理入站message。如果是RC或RD QP，将生成远端QP的SQ Logic将接收的请求包的响应。—禁止SQ WR发布与处理。—WR可同时发布到SQ与RQ。—两个队列上的WR都会被处理。SQ Logic可以处理SQ WQE，并生成向远端QP的RQ Logic发送的出站请求包。
rdma cm建链
03-14
<think>嗯，用户问的是如何使用RDMA Connection Manager建立连接。首先，我需要回忆一下RDMA的基本概念和相关库。RDMA（远程直接内存访问）允许直接访问远程内存，无需操作系统介入，这对高性能计算很重要。RDMA CM（连接管理器）是用于管理连接建立和终止的库，属于rdma-core项目的一部分。用户提供的引用中提到了rdmacm_utils.py和一些基本操作步骤，还有官方文档的建议，这应该能帮助我构建回答。 首先，建立RDMA连接通常分为主动端（客户端）和被动端（服务器端）。我需要分步骤说明双方的流程。根据引用[2]和[4]，需要掌握基本概念并参考官方文档。步骤可能包括创建ID、解析地址、监听/连接、交换QP信息等。 然后，引用[5]提到了准备数据缓冲区、设置地址和密钥，这可能涉及内存注册和QP的操作。但建立连接阶段可能更关注于CM的操作，而不是数据传输的具体步骤。需要区分连接建立和数据传输的不同阶段。 在代码示例方面，虽然用户提供的引用中有Python的示例，但RDMA通常用C语言实现，所以可能需要给出C的代码片段。例如，使用rdma_create_event_channel、rdma_create_id等函数。但用户引用的引用[1]提到了rdmacm_utils.py，可能用户对Python实现也有兴趣，但根据引用[4]，官方文档和示例代码可能更偏向C语言，所以需要确认。 另外，需要注意用户提到的引用[3]中的rdma_post_read函数属于数据传输阶段，可能在连接建立之后才会用到。建立连接的关键步骤包括事件处理、地址解析和交换连接参数。 可能的问题点：如何创建事件通道、绑定地址、处理连接事件。服务器端需要监听，客户端需要发起连接请求。交换QP信息（如地址和rkey）可能需要通过带外方式传输，比如TCP套接字，这部分可能需要用户自己实现，如引用[4]建议参考官方示例。 总结步骤： 1. 创建事件通道和ID。 2. 解析目标地址和端口。 3. 绑定地址并监听（服务器）或连接（客户端）。 4. 处理连接事件，建立QP。 5. 交换必要的元数据。 6. 连接就绪后进行数据传输。 同时，需要提醒用户注意内存注册和错误处理，以及需要具备的背景知识，如引用[4]提到的网络和系统编程基础。 可能的相关问题包括如何优化连接建立过程、处理多连接，或者如何在实际应用中使用RDMA CM，比如在分布式存储或HPC中的应用。需要确保回答结构清晰，分步骤说明，并引用提供的资料。</think>### 如何使用 RDMA Connection Manager 建立连接 RDMA Connection Manager (RDMA_CM) 是 rdma-core 库中用于管理 RDMA 连接的核心组件，支持基于事件驱动的连接建立和终止。以下是建立连接的核心步骤： --- #### **1. 初始化通信环境** - **创建事件通道** 通过 `rdma_create_event_channel()` 创建事件通道，用于监听连接事件（如连接请求、完成事件）[^4]。 ```c struct rdma_event_channel *ec = rdma_create_event_channel(); ``` - **创建标识符 (ID)** 使用 `rdma_create_id()` 创建 RDMA 标识符，指定通信类型（如 `AF_IB` 或 `AF_INET`）。 ```c struct rdma_cm_id *id; rdma_create_id(ec, &id, NULL, RDMA_PS_TCP); ``` --- #### **2. 地址解析与绑定** - **服务器端（被动端）** - 绑定到指定端口： ```c rdma_bind_addr(id, (struct sockaddr *)&addr); // addr 包含 IP 和端口 ``` - 进入监听状态： ```c rdma_listen(id, 5); // 设置最大等待连接数 ``` - **客户端（主动端）** - 解析目标地址： ```c rdma_resolve_addr(id, NULL, (struct sockaddr *)&dst_addr, TIMEOUT_MS); ``` - 发起连接请求： ```c rdma_connect(id, &conn_param); // conn_param 包含连接参数 ``` --- #### **3. 处理连接事件** - **事件循环** 通过 `rdma_get_cm_event()` 监听事件（如 `RDMA_CM_EVENT_CONNECT_REQUEST`）并响应： ```c struct rdma_cm_event *event; rdma_get_cm_event(ec, &event); switch (event->event) { case RDMA_CM_EVENT_CONNECT_REQUEST: // 接受连接请求 rdma_accept(event->id, &conn_param); break; case RDMA_CM_EVENT_ESTABLISHED: // 连接就绪，可开始数据传输 break; } ``` --- #### **4. 交换元数据** 连接建立后，需通过带外方式（如 TCP）交换以下信息[^5]： - 远程内存地址 (`addr`) 和访问密钥 (`rkey`) - 队列对 (QP) 的上下文信息 --- #### **代码示例（简化流程）** ```c // 服务器端 struct rdma_cm_id *listen_id; rdma_bind_addr(listen_id, addr); rdma_listen(listen_id, 5); // 客户端 struct rdma_cm_id *conn_id; rdma_resolve_addr(conn_id, NULL, dst_addr, 2000); rdma_connect(conn_id, &conn_param); ``` --- #### **注意事项** 1. **内存注册** 在数据传输前，需通过 `ibv_reg_mr()` 注册内存缓冲区并获取本地内存描述符 (MR)[^5]。 2. **错误处理** 所有 RDMA_CM 函数需检查返回值，并调用 `rdma_destroy_id()` 释放资源。 3. **背景知识** 需熟悉 InfiniBand 架构和 Linux 系统编程[^2]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值