聊聊消息队列高性能的秘密——零拷贝技术

前言

RocketMQ为什么这么快、Kafka为什么这么快？用了零拷贝技术？什么是零拷贝技术，它们二者的零拷贝技术有不同吗？

为什么需要零拷贝

在计算机产业中，I/O的速度相较CPU，总是太慢的。SSD硬盘的IOPS可以达到2W、4W，但是我们CPU的主频有2GHz以上，也就意味着每秒会有20亿次的操作。如果对于I/O操作，都是由CPU发出对应的指令，然后等待I/O设备完成操作之后返回，那CPU有大量的时间其实都是在等待I/O设备完成操作。但是，这个 CPU 的等待，在很多时候，其实并没有太多的实际意义。我们对于 I/O 设备的大量操作，其实都只是把内存里面的数据，传输到 I/O 设备而已。在这种情况下，其实 CPU 只是在傻等而已。特别是当传输的数据量比较大的时候，比如进行大文件复制，如果所有数据都要经过 CPU，实在是有点儿太浪费时间了。因此计算机工程师们就发明了DMA技术，也就是直接内存访问（Direct Memory Access）技术，来减少CPU等待的时间。

DMA技术

本文不做过多相关介绍，这里我简单总结下对它的理解。 如上所述，CPU资源很宝贵，如果用它来处理I/O那么将是极大的损失，比如说我们用千兆网卡或者硬盘传输大量数据的时候，如果都用CPU来搬运的话，肯定是忙不过来，所以可以选择DMAC（DMA控制器即DMA Controller，简称DMAC），CPU告诉DMAC它需要传输什么数据，从哪里传输，传输到哪里去这些信息，然后交给DMAC去做，DMAC可以等到数据都到齐了，再发送信号，交给CPU去处理，而不是让CPU在哪里忙等待。（DMAC：我们不加工数据，只是数据的搬运工） 具体传输过程（从磁盘传输到网络）如图：

零拷贝

如上我们发现，虽然通过DMA技术能够使得CPU不用忙等待I/O操作，减轻了一些压力，但是从图中也能清晰地看出，两次CPU的Copy完全是在