DatenLord的博客

为了便于刚接触RDMA的读者阅读本系列文章，首先对RDMA的概念做一个简单的介绍。RDMA是Remote Direct Memory Access的缩写。在介绍RDMA之前，先简单介绍一下更为人所熟知的DMA技术，DMA技术的目的是为了解放CPU的算力，让硬件有能力绕开CPU自己去完成主存（Main Memory）和外设存储器之间的简单而枯燥的数据搬运工作。比较常见的DMA操作是连接在PCIe总线上的设备（如网卡、显卡等）自己主动发起对计算机主存的读写访问操作。

喷泉码另外一个常用的场景是大量文件或者数据的广播，这种时候每位接受者的丢包率是不确定的，因此固定码率的编码就不适用，喷泉码却可以解决该场景下的问题——丢包率高的接受者多收一些包，丢包率少的接受者则少收一些包。LT 编码有其局限性，如果我们想保证编码块的数量 m 和原始数据块数量 k 非常接近，且恢复的成功率较高，那么平均每个编码块的生成需要进行 O(log(k)) 次 Xor 操作，需要消耗非常多的计算资源。通过这两种编码的介绍和比较可以比较好的了解喷泉码的特性和基本的实现原理。

在本周日5月7日晚上20:00，达坦科技与Linux阅码场合作，由达坦科技联合创始人兼CTO施继成为大家做题为RDMA软件接口高层封装的分享。

async-rdma是由DatenLord社区发起的Rust异步RDMA编程库，致力于提升高性能网络应用的开发效率。在介绍async-rdma之前我们先来了解一下RDMA的概念及其使用方式。

作者：王璞 / 后期编辑： 张汉东RDMA是一套高性能网络协议栈，多用于高性能计算、高性能存储领域。RDMA的library是用C实现的，但是没有很好用的Rust的binding，不方便Rust开发者使用。于是我们正在封装一层符合Rust风格、便于Rust开发者使用的RDMA Rust binding。特别的，异步编程是近几年很受关注的编程方式，用Rust异步编程来实现IO操作，可以避免操作系统的进程上下文切换，提高性能，而且Rust的异步编程框架也在逐步成熟和完善。本系列文章探讨下如何用异步的方式实现RD

UCX 是一个高性能网络通信库，它作为 MPI 所依赖的通信模块之一在高性能计算领域得到广泛的使用。UCX 使用 C 语言编写，为了在 Rust 项目中使用它，我们需要将它的 C 接口包装成 Rust 库。在这个过程中我们充分利用了 Rust 的杀手级特性—— async-await 协程来包装异步 IO 接口，从而极大降低了应用的编程复杂度。去年我们用 Rust 实现的高性能分布式文件系统 MadFS，底层就使用了我们自己包装过的 UCX 作为通信模块，它在大规模 RDMA 网络上展现出了良好的性能。UC

RMDA 是近年越来越热门的高速网络传输协议，被广泛应用于超算中心和高端存储领域。RDMA 的全称为 Remote Direct Memory Access，即允许本地内存被远端机器直接访问，该访问不经过被访问机器的操作系统，直接由网卡代为完成。正式因为网卡完成了大部分的数据传输工作，操作系统的负载被降低，使得其在大量数据传输的情况下具有更好的拓展性（scalability）。.........

RDMA是常⽤于⾼性能计算(HPC)领域的⾼速⽹络，在存储⽹络等专⽤场景也有⼴泛的⽤途。RDMA最⼤的特点是通过软硬件配合，在⽹络传输数据的时候，完全不需要CPU/内核参与，从⽽实现⾼性能的传输⽹络。最早RDMA要求使⽤InfiniBand (IB)⽹络，采⽤专⻔的IB⽹卡和IB交换机。现在RDMA也可以采⽤以太⽹交换机，但是还需要专⽤的IB⽹卡。虽然也有基于以太⽹卡⽤软件实现RDMA的⽅案，但是这种⽅案没有性能优势。............