Kafka文件的存储机制

kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。

所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。

一、segment

所谓的segment其实就是在分区对应的文件夹下产生的文件。

一个分区会被划分成大小相等的若干segment，这样一方面保证了分区的数据被划分到多个文件中保证不会产生体积过大的文件;另一方面可以基于这些segment文件进行历史数据的删除，提高效率。

一个segment又由一个.log和一个.index文件组成。

1..log

.log文件为数据文件用来存放数据分段数据。

2..index

.index为索引文件保存对对应的.log文件的索引信息。