闲聊kafka(四)

本文主要想探究一下生产者生产的消息，在kafka集群中究竟是怎样存储的？

First: 启动集群

在每个kafka的根目录下执行：
/home/tao/workspace/kafka/kafka_2.12-2.0.0/bin/kafka-server-start.sh config/server.properties &

Second: 创建一个新的topic

命令如下：
bin/kafka-topics.sh --create --zookeeper dataServer-236:2181,dataServer-237:2181,dataServer-240:2181 --replication-factor 2 --partitions 3 --topic zhxTopic3
从该命令可以看到，该主体的副本因子是2，有三个分区。

Third: 查看分区是如何存储的

在/home/tao/workspace/kafka/kafka_2.12-2.0.0/config/server.properties目录下我们配置有kafka日志的存储地址：

# A comma separated list of directories under which to store log files
log.dirs=/home/tao/workspace/kafka/logs

在三个节点分别，进入到该目录执行ll命令，如下：
节点一：

drwxrwxr-x  2 tao tao 4096 Dec 19 13:18 zhxTopic3-0/
drwxrwxr-x  2 tao tao 4096 Dec 19 13:18 zhxTopic3-2/

节点二：

drwxrwxr-x  2 tao tao 4096 Dec 19 13:18 zhxTopic3-0/
drwxrwxr-x  2 tao tao 4096 Dec 19 13:18 zhxTopic3-1/

节点三：

drwxrwxr-x  2 tao tao 4096 Dec 19 13:18 zhxTopic3-1/
drwxrwxr-x  2 tao tao 4096 Dec 19 13:18 zhxTopic3-2/

其中zhxTopic3-x中的x表示分区，从上可以看出来，0分区分布在节点一二，1分区分布在节点二三，2分区分布在节点一三，负载非常均衡。

Fourth: 查看分区文件夹下是如何组织数据的

进入的节点一的0分区cd zhxTopic3-0，执行ll命令：

-rw-rw-r--  1 tao tao 10485760 Dec 19 13:18 00000000000000000000.index
-rw-rw-r--  1 tao tao        0 Dec 19 13:18 00000000000000000000.log
-rw-rw-r--  1 tao tao 10485756 Dec 19 13:18 00000000000000000000.timeindex
-rw-rw-r--  1 tao tao        0 Dec 19 13:18 leader-epoch-checkpoint

看到有四个文件，但貌似都不知道它们是干啥的。经查阅资料得知，0(20个0).log(因为目前还没有向这个分区中发送消息)文件存储的是具体的消息，前缀同名的0(20个0).index文件存储的是0(20个0).log文件文件中消息对应的物理地址，当然，并不是每一个消息的物理地址都会存储在其中，它采用的是稀疏存储的方式，这样的导致的结果就是有的消息不能立马从index文件中找到对应的物理地址，而是要经过二分法之后再顺序找磁盘(因为范围已经很消息，所以效率还是比较高)，并且因为是稀疏存储，这样它本身的大小就比较小了，那就可以把它放入内存加快读取速度。另外，一对index和log文件称为一个段(Segment)，partition是分段存储的，这样有利于快速清理老的段(不明白为什么)。log文件的默认大小是一个G，由broker的log.segment.bytes参数指定，leader-epoch-checkpoint和00000000000000000000.timeindex他日再议。

参考文档:
kafka文件的存储机制 https://www.cnblogs.com/jun1019/p/6256514.html
Kafka processing OffsetForLeaderEpochRequest https://blog.youkuaiyun.com/helowken2/article/details/82766445