kafaka索引机制

kafaka 日志文件对应的索引文件有两种

 

1. 偏移量索引文件      偏移量到物理位置的一个映射关系
2. 时间戳索引文件      根据一个时间戳查找偏移量信息

稀疏索引概念

Kafka 中的索引文件以稀疏索引(sparse index)的方式构造消息的索引，它并不保证每个消息在索引文件中都有对应的索引项

由于kafaka都是顺序写的，所以可以找到目标消息的最近的索引，然后再去二分查找法查找目标消息

相对偏移量的概念：

消息的偏移量(offset)占用 8 个字节，也可以称为绝对偏移量。索引项中没有直接使用绝对偏移量而改为只占用 4 个字节的相对偏移量(relativeOffset = offset - baseOffset)，这样可以减小索引文件占用的空间。举个例子，一个日志分段的 baseOffset 为 32，那么其文件名就是 00000000000000000032.log，offset 为 35 的消息在索引文件中的 relativeOffset 的值为 35-32=3