超级会员免费看
Kafka的Partition由segment文件组成，每个segment包含一个.index索引文件和.log数据文件。offset是Partition中消息的唯一标识，segment file通过相对offset和position在索引文件中定位消息。数据文件存储Message的offset、MessageSize和data。查找特定offset消息时，通过二分法找到对应索引记录，获取message物理位置。Segment文件命名基于上一个segment的最后一个消息offset。索引文件存储元数据，指向数据文件中message的物理偏移地址。
partition
segment
topic:主题，表示消息属于那种主题（可以理解为消息的分类）
partition:分区，从大的概念来说topic 中的消息都是存放在patition 中，一个topic 可以有多个partition,一个partition 可以有多个副本
offset:偏移量，在kafka 中offset 是partition 中消息序列号，可以认为是这个消息的唯一标识
segment:多个大小相等的segment file (段)组成了一个partition。
segment file 是什么？
每个partition 就相当于一个巨型的文件 里面由多个大小相等的segment file小文件组成，但是每个segment file 的消息数量并不一定相
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
