Kafka学习笔记（七）—Kafka高性能原因

1. 批量处理

传统消息中间件的消息发送和消费整体上是针对单条的，这样会造成多次网络传输。Kafka是通过将发送到相同partition的数据组装成一个批量消息，然后进行发送，这在前面文章中介绍batch.size参数时提到过，这种方式大大减少了请求的数量，提升了客户端和服务器的性能。

2. 客户端优化

新版生产者客户端摒弃了以往的单线程，而采用了双线程：

• 主线程负责将消息置入客户端缓存
• Sender线程负责从缓存中发送消息

3. 消息压缩

Kafka支持多种消息压缩方式（gzip、snappy、lz4）。对消息进行压缩可以极大地减少网络传输 量、降低网络 I/O，从而提高整体的性能。消息压缩是一种使用时间换空间的优化方式，如果对时延有一定的要求，则不推荐对消息进行压缩

4. 日志索引

每个日志分段文件对应了两个索引文件，主要用来提高查找消息的效率，这也是提升性能的一种方式

5. 分区

分区将数据分成多份，大大增加Kafka到吞吐量，有效的利于每台服务器的性能，不会造成单台服务器因为数据量过大，性能下降

6. 顺序写盘

• 预读 read-ahead，提前将一个比较大的磁盘块读入内存
• 后写 write-behind，将很多小的逻辑写操作合并起来组成一个大的物理写操作

Kafka 在设计时采用了文件追加的方式来写入消息，即只能在日志文件的尾部追加新的消 息，并且也不允许修改已写入的消息，这种方式属于典型的顺序写盘的操作

7. 页缓存

页缓存是操作系统实现的一种主要的磁盘缓存，以此用来减少对磁盘 I/O 的操作

具体 来说，就是把磁盘中的数据缓存到内存中，把对磁盘的访问变为对内存的访问。为了弥补性 能上的差异，现代操作系统越来越“激进地”将内存作为磁盘缓存，甚至会非常乐意将所有 可用的内存用作磁盘缓存，这样当内存回收时也几乎没有性能损失，所有对于磁盘的读写也 将经由统一的缓存

读取磁盘文件：

• 先查看待读取的数据所在的页 (page)是否在页缓存(pagecache)中，如果存在(命中)则直接返回数据，从而避免了对物 理磁盘的 I/O 操作
• 如果没有命中，则操作系统会向磁盘发起读取请求并将读取的数据页存入页缓存，之后再将数据返回给进程

数据写入磁盘

• 操作系统会检测数据对应的页是否在页缓存中
• 如果不存在，则会先在页缓存中添加相应的页，最后将数据写入对应的页
• 被修改过后的页也就变成了脏页，操作系统会在合适的时间把脏页中的 数据写入磁盘，以保持数据的一致性

对一个进程而言，它会在进程内部缓存处理所需的数据，然而这些数据有可能还缓存在操 作系统的页缓存中，因此同一份数据有可能被缓存了两次。除非使用 Direct I/O 的方式， 否则页缓存很难被禁止，即使 Kafka 服务重启， 页缓存还是会保持有效

Kafka 中大量使用了页缓存，这是 Kafka 实现高吞吐的重要因素之一。虽然消息都是先被写入页缓存，然后由操作系统负责具体的刷盘任务的

8. 零拷贝

Kafka使用了Zero Copy技术提升了消费的效率。

普通文件读取写入流程：

1. 首先，调用read时，将文件拷贝到了kernel模式；
2. 之后，CPU控制将kernel模式数据copy到user模式下；
3. 调用write时，先将user模式下的内容copy到kernel模式下的socket的buffer中；
4. 最后将kernel模式下的socket buffer的数据copy到网卡设备中传送；

上面过程中，数据在内核态和用户态之间重复copy，浪费性能，同时还进行了4次用户态和内核态的模式切换，这种切换非常耗时

Zero-Copy技术省去了将操作系统的read buffer拷贝到程序的buffer，以及从程序buffer拷贝到socket buffer的步骤，直接将read buffer拷贝到socket buffer. Java NIO中的FileChannal.transferTo()方法就是这样的实现，这个实现是依赖于操作系统底层的sendFile()实现的

通过sendfile传送文件只需要一次系统调用，当调用sendfile时：

1. 将文件拷贝到kernel buffer中；
2. 向socket buffer中追加当前要发生的数据在kernel buffer中的位置和偏移量；
3. 根据socket buffer中的位置和偏移量直接将kernel buffer的数据copy到网卡设备（protocol engine）中；

数据只经过了2次copy就从磁盘传送出去了，这里的零拷贝是针对kernel来讲的，数据在kernel模式下是Zero-Copy

参考

https://blog.youkuaiyun.com/u013256816/article/details/52589524