基于kafka原理单机高性能微秒级别队列改造_kafka性能指标毫秒级-优快云博客

为满足线上业务对超低延迟消息队列的需求，本文探讨了一种改造方案。通过对kafka、zeromq等常见消息队列的调研，发现它们无法达到微秒级别延迟。因此，设计了一个利用本地磁盘、顺序IO和inotify的队列系统，避免网络传输，减少数据拷贝，并采用water_mark机制应对消息积压。实测结果显示，消息从生产到消费的延迟约为100us，实现了高性能的目标。

场景：

线上业务需要一款拥有超低延迟(us)，支持多消费者，并且能够处理海量的消息积压的消息队列。

调研：

kafka是我们日常生活中比较常见的消息队列，非常适合做消息的离线处理。但是在一些实时性要求比较高的场景下，消息自带的延迟是不可忍受的，测试发现一条消息转发大概需要200ms的耗时，实际情况可能有所出入，但肯定是毫秒级别的。kafka从设计上就是倾向于面向大众，满足大部分需求。当然满足这些要求的成本就是通过牺牲了性能。所以说kafka适合做离线处理。而不是做一些非常实时的应用。
zeromq就是针对实时应用的一款消息队列，提供了各个拓扑结构的链接方式，性能不错，但不足的是当消息积压有可能会写满内存。

市面上目前的消息队列都与我们的设计目标不符。

设计：

要想拥有微秒级别的延迟，

不能走网络，数据必须放本地。
用磁盘以及顺序io来保证写入读取性能。生产者收到数据后将数据以换行符append的形式写入文件（顺序写），消费者getline一直到文件尾（顺序读），
使用inotify等待新数据的产生。
不适用get_line, fgets等库函数，减少数据拷贝，自己实现拆包逻辑。
读取的buffer_size不能设置的过小，由于下游消费通常存在一定的耗时，我们尽量一次多读取一些，否则系统调用read的成本很高。
当消息产生积压的情况，我们采用water_mark机制来自动调节每次数据读取的最大字节。

实现：

#include <sys/inotify.h>
#include <sys/stat.h>
#include <unistd.h>

#define EVENT_SIZE (sizeof(struct inotify_event))
#define BUF_LEN (10 * (EVENT_SIZE + FI