kafka之所以那么快

一、简介

Kafka作为一个支持大数据量写入写出的消息队列，由于是基于Scala和Java实现的，而Scala和Java均需要在JVM上运行，所以如果是基于内存的方式，即JVM的堆来进行数据存储则需要开辟很大的堆来支持数据读写，从而会导致GC频繁影响性能。考虑到这些因素，kafka是使用磁盘而不是kafka服务器broker进程内存来进行数据存储，传说kafka的吞吐量比一般的消息队列高，号称the fastest，但是是磁盘存储的，为什么这么快呢？（毕竟在大部分人的认知里，基于内存的存储才更快，快的原因有两个，其一，本身内存的随机存储要比磁盘快的多；其二，读磁盘需要切换用户空间–>内核空间）。

二、生产者端

生产者负责写入数据，Kafka会将消息持久化到磁盘，保证不会丢失数据，Kafka采用了俩个技术提高写入的速度。

1. 顺序写入

硬盘是机械结构，需要指针寻址找到存储数据的位置，所以，如果是随机IO，磁盘会进行频繁的寻址，导致写入速度下降。Kafka使用了顺序IO提高了磁盘的写入速度，Kafka会将数据顺序插入到文件末尾，消费者端通过控制偏移量来读取消息，这样做会导致数据无法删除，时间一长，磁盘空间会满，kafka提供了2种策略来删除数据：基于时间删除和基于partition文件的大小删除。

2. Memory Mapped Files

这个和Java NIO中的内存映射基本相同，操作系统很早就开始使用内存映射文件（Memory Mapped File）来作为进程间的共享存储区，这是一种非常高效的进程通讯手段。 所谓内存映射文件，其实就是在内存中开辟出一块存放数据的专用区域，这区域往往与硬盘上特定的文件相对应，mmf直接利用操作系统的Page来实现文件到物理内存的映射，完成之后对物理内存的操作会直接同步到硬盘。mmf通过内存映射的方式大大提高了IO速率，省去了用户空间到内核空间的复制。它的缺点显而易见–不可靠，当发生宕机而数据未同步到硬盘时，数据会丢失，Kafka提供了produce.type参数来控制是否主动的进行刷新，如果kafka写入到mmp后立即flush再返回给生产者则为同步模式，反之为异步模式。

三、消费者端

在这之前先来了解一下零拷贝：平时从服务器读取静态文件时，该文件在服务器经历磁盘–内核空间–用户空间–内核空间–网卡发送，每一次的用户，内核空间的切换都要保存当前空间的上下文，这是个很费时的操作，零拷贝内核–内核–网卡，省去了用户空间的复制。Kafka把所有的消息存放到一个文件中，当消费者需要数据的时候直接将文件发送给消费者，比如10W的消息共10M，全部发送给消费者，10M的消息在内网中传输是非常快的，假如需要1s，那么kafka的tps就是10w。Zero copy（零拷贝）对应的是Linux中sendfile函数，sendfile系统调用在内核版本2.1中被引入，目的是简化通过网络在两个本地文件之间进行的数据传输过程。sendfile系统调用的引入，不仅减少了数据复制，还减少了上下文切换的次数。这个函数会接受一个offsize来确定从哪里开始读取。现实中，不可能将整个文件全部发给消费者，他通过消费者传递过来的偏移量来使用零拷贝读取指定内容的数据返回给消费者。

四、总结

Kafka快的原因是他将一个个消息变成一个文件，通过mmp提高IO速度，写入时在末尾直接添加，读取时通过偏移量直接返回。

参考文章

1. https://www.jianshu.com/p/d59a22c5806e
2. https://blog.youkuaiyun.com/caianye/article/details/7576198（sendfile函数讲的很好）
3. https://blog.youkuaiyun.com/u010013573/article/details/89608893（讲的很好）