学习笔记-RDMA技术上篇

最新推荐文章于 2025-06-05 15:28:24 发布
最新推荐文章于 2025-06-05 15:28:24 发布
阅读量1.3k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 服务器硬件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lm236236/article/details/103658492
RDMA（Remote Direct Memory Access）是一种旨在减少网络通信延迟、提高带宽的技术，它允许数据直接在不同计算机的内存间传输，无需操作系统干预。本文介绍了RDMA的低延迟、低CPU开销和高带宽特性，以及Memory verbs和Messaging verbs两种基本操作。同时，讨论了InfiniBand、iWARP和RoCE三种不同的RDMA硬件实现，其中RoCE是在以太网上实现RDMA的协议，有RoCEv1和RoCEv2两个版本。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在看博通的智能网卡时候，看到了RoCE(RDMA over Converged Ethernet)技术，对于这种陌生的名词，第一反应当然是百度了，然后记到优快云这个小本本上。

要了解RoCE,首先就要了解RDMA。

一、什么是RDMA

       RDMA(RemoteDirect Memory Access)技术全称远程直接内存访问，就是为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。它将数据直接从一台计算机的内存传输到另一台计算机，无需双方操作系统的介入。这允许高吞吐、低延迟的网络通信，尤其适合在大规模并行计算机集群中使用。RDMA通过网络把资料直接传入计算机的内存中，将数据从一个系统快速移动到远程系统内存中，而不对操作系统造成任何影响，这样就不需要用到多少计算机的处理能力。它消除了数据包在用户空间和内核空间复制移动和上下文切换的开销，因而能解放内存带宽和CPU周期用于改进应用系统性能。

二、背景

    我们都知道OSI七层模型，传统的TCP/IP网络通信，数据需要通过用户空间发送到远程机器的用户空间。数据发送方需要讲数据从用户应用空间Buffer复制到内核空间的Socket Buffer中。然后内核空间中添加数据包头，进行数据封装。通过一系列多层网络协议的数据包处理工作，这些协议包括传输控制协议（TCP）、用户数据报协议（UDP）、互联网协议（IP）以及互联网控制消息协议（ICMP）等。数据才被Push到NIC网卡中的Buffer进行网络传输。消息接受方接受从远程机器发送的数据包后，要将数据包从NIC Buffer中复制数据到Socket Buffer。然后经过一些列的多层网络协议进行数据包的解析工作。解析后的数据被复制到相应位置的用户空间Buffer。这个时候再进行系统上下文切换，用户应用程序才被调用。以上就是传统的TCP/IP协议层的工作。

   计算机网络通信中，最重要的两个指标是高带宽和低延迟，我们没有办法在带宽中做手脚，那么只有在低延迟这部分下功夫了。这里的延迟主要有处理延迟和网络延迟，网络延迟和硬件条件有直接关系。所以我们只能尽量降

最低0.47元/天 解锁文章

200万优质内容无限畅学
学习笔记-RDMA技术下篇
lm236236的博客
12-29 1218
RDMA技术 传统上的RDMA技术设计内核封装多层网络协议并且涉及内核数据传输。RDMA通过专有的RDMA网卡RNIC，绕过内核直接从用户空间访问RDMA enabled NIC网卡。RDMA提供一个专有的Verbs Interface而不是传统的TCP/IP Socket Interface。要使用RDMA首先要建立从RDMA到应用程序内存的数据路径 ，可以通过RDMA专有的Verbs I...
【RDMA】19. RDMA之iWARP & Soft-iWARP
小鱼菜鸟的博客
07-22 767
【RDMA】RDMA 学习资料总目录_bandaoyu的博客-优快云博客SavirRDMA 分享1. RDMA概述https://blog.youkuaiyun.com/bandaoyu/article/details/112859853https://zhuanlan.zhihu.com/p/1388747382. 比较基于Socket与RDMA的通信https...
RDMA编程用户手册-官方中文版
03-23
因为工作需要,将这个 Mellanox 的编程用户手册翻译成了中文，便于大家 学习参考。其中第一章和第二章参考了网络上的一些已有翻译，并做了部分纠 错。其他借助了 google 翻译。发布时候我会同时上传英文原版和翻译版，以便 纠错。
【RDMA】学习笔记（四）RDMA编程
2403_86693037的博客
08-25 985
上篇中，学习了RDMA的三个网络协议：IB，RoCE，iWARP今天学习一些。
RDMA简介之4ROCE V2初析
最新发布
tiantianuser的博客
06-05 423
RDMA原语分为单边和双边语义，单边操作(READ/WRITE/ATOMIC)无需远程CPU参与，提供高吞吐和低延迟；双边操作(SEND/RECEIVE)需双方CPU协作，保证可靠性但性能较低。单边语义通过地址和密钥访问远程内存，原子操作确保数据一致性。双边语义用于信息交换和错误处理，需发送和接收缓冲区匹配。
RDMA学习笔记
eternal963的博客
03-16 486
RDMA软件层在内存中规划一片区域，用于存放和收发数据，这个区域将主机内存和RDMA关联，确保RDMA在进行数据传输时能够正确高效地访问内存区域，这个内存区域就是MR，注册MR 可以使用verbs提供的接口ibv_reg_mr()，在注册这一过程中，内存会创建一个VA和PA之间的映射表，当RDMA网卡需要获取PA时通过查表即可获取PA。注册PD：调用ibv_alloc_pd函数分配一个PD对象，该函数会返回一个struct ibv_pd* 类型的指针，指向分配的 PD 对象。
RDMA的简单学习
喜欢打篮球的普通人
05-12 571
文章目录1.RDMA含义及特点2.查看网卡是否支持RDMA3.RDMA编程接口的简单概述 1.RDMA含义及特点 RDMA（全称remote direct memory access（中文：远程直接数据存取））是一种技术，它允许网络中的计算机直接从内存里交换数据，而不用涉及任何一台计算机的处理器、高速缓存或者操作系统 DMA传输是将数据从一个地址空间复制到另一个空间，也就是说它的目的是将CPU从数据拷贝过程中解放出来，让更多的CPU资源用于数据计算。RDMA目的和DMA一样，也是释放CPU的占用。
【RDMA】学习笔记（一）
2403_86693037的博客
08-11 896
RDMA（Remote Direct Memory Access）远程直接内存访问：数据通过网加粗样式络与原创机器间进行数据传输：没有内核的参与，有关发送传输的所有内容都卸载到网卡上：在用户空间虚拟内存与RNIC网卡直接进行数据传输不涉及到系统内核，没有额外的数据移动和复制：send、receive、read、write、atomic操作这种方式不仅大幅，还显著，优化了整体性能。
【RDMA】17. RDMA之RDMAP(Remote Direct Memory Access Protocol)--未消化
小鱼菜鸟的博客
07-22 400
RDMA】RDMA 学习资料总目录_bandaoyu的笔记-优快云博客SavirRDMA 分享1. RDMA概述https://blog.youkuaiyun.com/bandaoyu/article/details/112859853https://zhuanlan.zhihu.com/p/1388747382. 比较基于Socket与RDMA的通信https:...
【RDMA】15. RDMA之RoCE & Soft-RoCE
小鱼菜鸟的博客
09-26 1059
【RDMA】RDMA 学习资料总目录_bandaoyu的笔记-优快云博客SavirRDMA 分享1. RDMA概述https://blog.youkuaiyun.com/bandaoyu/article/details/112859853https://zhuanlan.zhihu.com/p/1388747382. 比较基于Socket与RDMA的通信https...
RDMA编程用户手册
04-10
RDMA aware programming user manual libibverbs user manual / document
【RDMA】最全RDMA学习教程（建议收藏）
zhuoweichen1的专栏
07-01 7530
最全RDMA学习资料汇总
【RDMA】RDMA 学习资料总目录
bandaoyu的note
09-26 1万+
SavirRDMA 分享 1. RDMA概述 https://blog.youkuaiyun.com/bandaoyu/article/details/112859853 https://zhuanlan.zhihu.com/p/1388747382. 比较基于Socket与RDMA的通信 https://blog.youkuaiyun.com/bandaoyu/article/details/1128613993. RDMA基本元素和编程基础 https://blog.youkuaiyun.com/bandaoyu/article/de.
RDMA技术详解——RDMA核心概念
咸鱼弟的博客
08-22 3076
1.1 Memory Registration(MR) | 内存注册 RDMA 就是用来对内存进行数据传输。那么怎样才能对内存进行传输，很简单，注册。 因为RDMA硬件对用来做数据传输的内存是有特殊要求的。 在数据传输过程中，应用程序不能修改数据所在的内存。 操作系统不能对数据所在的内存进行page out操作 – 物理地址和虚拟地址的映射必须是固定不变的。 注意无论是DMA或者RDMA都要求物理地址连续，这是由DMA引擎所决定的。 那么怎么进行内存注册呢？ ...
RDMA技术浅析（二）
袁赟的博客
04-08 2854
本章主要探讨RDMA软件相关的部分。 一、名词解释 首先解释一下几个名词： rdma-core 指开源RDMA用户态软件协议栈，包含用户态框架、各厂商用户态驱动、API帮助手册以及开发自测试工具等。 rdma-core在github上维护，我们的用户态Verbs API实际上就是它实现的。https://github.com/linux-rdma/rdma-core 代码目录结构如下： 其中比较重要的几个目录是： libibverbs 以ibv为前缀，这里的ib并不代表infiniband
【RDMA】RDMA技术详解（四）：RDMA之Verbs和编程步骤
小鱼菜鸟的博客
01-20 3285
目录 什么是Verbs 相关名词解释 Verbs API Verbs API是什么 设计Verbs API的原因 Verbs API所包含的内容 使用Verbs API编写RDMA应用程序 查看接口定义 包含头文件 编写应用 编译 & 执行 官方示例程序 libibverbs librdmacm 参考文献 ibv_...
【RDMA】技术详解（一）：RDMA概述
热门推荐
bandaoyu的note
01-20 6万+
原文：https://blog.youkuaiyun.com/qq_21125183/article/details/86522475 1. DMA和RDMA概念 1.1 DMA DMA(直接内存访问)是一种能力，允许在计算机主板上的设备直接把数据发送到内存中去，数据搬运不需要CPU的参与。 传统内存访问需要通过CPU进行数据copy来移动数据，通过CPU将内存中的Buffer1移动到Buffer2中。DMA模式：可以同DMA Engine之间通过硬件将数据从Buffer1移动到Buffer2,而不需要操作系统
RDMA技术详解——RDMA的三种实现方式
咸鱼弟的博客
08-21 1万+
RDMA作为一种host-offload, host-bypass技术，使低延迟、高带宽的直接的内存到内存的数据通信成为了可能。目前支持RDMA的网络协议有： 1、InfiniBand(IB): 从一开始就支持RDMA的新一代网络协议。由于这是一种新的网络技术，因此需要支持该技术的网卡和交换机。 2、RDMA过融合以太网(RoCE): 即RDMA over Ethernet, 允许通过以太网执行RDMA的网络协议。这允许在标准以太网基础架构(交换机)上使用RDMA，只不过网卡必须是支持RoCE的特殊的
rust async-rdma
01-22
### 关于 Rust 中 Async RDMA 的实现 #### 使用 `async-ucx` 库构建异步 RDMA 程序 在 Rust 生态系统中，`async-ucx` 是一个用于与 UCX (Unified Communication X) 进行交互的库。UCX 提供了高性能通信原语的支持，其中包括RDMA功能。下面是一个简单例子展示如何利用 `tokio` 和 `async-ucx` 来创建一个基本的服务端和客户端应用[^1]。 对于服务端而言： ```rust use async_ucx::UcxEndpoint; use tokio; #[tokio::main] async fn main() { let listener = UcxEndpoint::bind("0.0.0.0:8080").await.unwrap(); while let Ok((mut stream, _)) = listener.accept().await { tokio::spawn(async move { if let Ok(message) = stream.read_to_string().await { println!("Received message from client: {}", message); // Echo back the received message to the client. stream.write_all(message.as_bytes()).await.unwrap(); } }); } } ``` 而对于客户端来说，则可以这样编写代码来连接到上述服务器并发送消息: ```rust use async_ucx::{UcxSocket,UcxEndpoint}; use tokio; #[tokio::main] async fn main() -> std::io::Result<()>{ let mut socket = UcxSocket::connect("127.0.0.1:8080").await?; const MESSAGE:&str="Hello Server!"; socket.write_all(MESSAGE.as_bytes()).await?; let mut buffer=String::new(); socket.read_to_string(&mut buffer).await?; println!("Server echoed back with :{}",buffer); Ok(()) } ``` 这段代码展示了怎样通过 `async-ucx` 实现了一个简单的回声(Echo)协议，在这个过程中涉及到了RDMA的操作。需要注意的是实际部署时还需要配置好网络环境以确保两端能够正常通讯，并且可能需要调整防火墙设置允许相应端口的数据传输。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值