浅谈RDMA

传统的 TCP/IP 网络通信的问题

计算机网络通信中最重要两个衡量指标主要是带宽和延迟。现实计算机网络中的通信场景中，主要是以发送小消息为主，在这类消息通信中，消息发送端和接受端的处理开销占整个通信的主导地位。具体来说，处理开销指的是buffer管理、在不同内存空间中消息复制、以及消息发送完成后的系统中断。因此处理开销的延迟是提升性能的关键。

传统的 TCP/IP 网络通信，数据需要通过用户空间发送到远程机器的用户空间，在这个过程中需要经历若干次内存拷贝。多次内存拷贝需要CPU多次介入，导致处理延时大，达到数十微秒。同时整个过程中CPU过多参与，大量消耗CPU性能，影响正常的数据计算。在高速网络条件下，传统的 TCP/IP 网络在主机侧数据移动和复制操作带来的高开销限制了可以在机器之间发送的带宽。

为了提高数据传输带宽，人们提出了多种解决方案，如：TCP Offloading Engine（TOE）、User-Net Networking(U-Net)、Virtual interface Architecture（VIA）、Remote Direct Memroy Access(RDMA)等。U-Net是第一个跨过内核网络通信的模式之一。VIA首次提出了标准化user-level的网络通信模式，其次它组合了U-Net接口和远程DMA设备。RDMA就是现代化高性能网络通信技术，接下来我们来详细介绍下RDMA。

DMA和RDMA介绍

什么是DMA

DMA全称为Direct Memory Access，即直接内存访问。假设I/O设备为一个普通网卡，为了从内存拿到需要发送的数据，然后组装数据包发送到物理链路上，网卡需要通过总线告知CPU自己的数据请求。然后CPU将会把内存缓冲区中的数据复制到自己内部的寄存器中，再复制到I/O设备的存储空间中。如果数据量比较大，那么很长一段时间内CPU都会忙于搬移数据，而无法投入到其他工作中去。CPU的最主要工作是计算，而不是进行数据复制，这种工作属于白白浪费了它的计算能力。

DMA通过在总线上挂了一个DMA控制器专门用来读写内存。有了它以后，当我们的网卡想要从内存中拷贝数据时，除了一些必要的控制命令外，整个数据复制过程都是由DMA控制器完成的。过程跟CPU复制是一样的，只不过这次是把内存中的数据通过总线复制到DMA控制器内部的寄存器中，再复制到I/O设备的存储空间中。CPU除了关注一下这个过程的开始和结束以外，其他时间可以去做其他事情。数据搬运不需要CPU的参与，从而大大降低了CPU Copy的开销。

什么是RDMA

RDMA（ Remote Direct Memory Access ）意为远程直接地址访问，通过RDMA，本端节点可以“直接”访问远端节点的内存。所谓直接，指的是可以像访问本地内存一样，绕过传统以太网复杂的TCP/IP网络协议栈读写远端内存，而这个过程对端是不感知的，而且这个读写过程的大部分工作是由硬件而不是软件完成的，即把报文封装和解析放到硬件中做了。RDMA允许用户态的应用程序直接读取或写入远程内存，不经过操作系统，无内核干预和内存拷贝发生，节省了大量 CPU 资源，提高了系统吞吐量、降低了系统的网络通信延迟。

RDMA三种不同的硬件实现

当前，大致有三类RDMA网络，分别是Infiniband、RoCE、iWARP。

Infiniband
2000年由IBTA（InfiniBand Trade Association）提出的IB协议是当之无愧的核心，其规定了一整套完整的链路层到传输层（非传统OSI七层模型的传输层，而是位于其之上）规范，但是其无法兼容现有以太网，除了需要支持IB的网卡之外，企业如果想部署的话还要重新购买配套的交换设备。英伟达Mellanox日前发布的第7代的InfiniBand产品可以支持400Gb/s的单端口传输带宽，是上一代的两倍。

RoCE
RoCE从英文全称就可以看出它是基于以太网链路层的协议，v1版本网络层仍然使用了IB规范，而v2使用了UDP+IP作为网络层，使得数据包也可以被路由。RoCE可以被认为是IB的“低成本解决方案”，将IB的报文封装成以太网包进行收发。由于RoCE v2可以使用以太网的交换设备，所以现在在企业中应用也比较多，但是相同场景下相比IB性能要有一些损失。目前华为、华三、锐捷、中兴等厂家都有参与硬件制造。

iWARP
iWARP协议是IETF基于TCP提出的，因为TCP是面向连接的可靠协议，这使得iWARP在面对有损网络场景（可以理解为网络环境中可能经常出现丢包）时相比于RoCE v2和IB具有更好的可靠性，在大规模组网时也有明显的优势。但是大量的TCP连接会耗费很多的内存资源，另外TCP复杂的流控等机制会导致性能问题，所以从性能上看iWARP要比UDP的RoCE v2和IB差。

需要注意的是，虽然有软件实现的RoCE和iWARP协议，但是真正商用时上述几种协议都需要专门的硬件（网卡）支持。