
1. 分区的leader与follower
1.1 Leader和Follower
在Kafka中,每个topic都可以配置多个分区以及多个副本。每个分区都有一个leader以及0个或者多个follower,在创建topic时,Kafka会将每个分区的leader均匀地分配在每个broker上。我们正常使用kafka是感觉不到leader、follower的存在的。但其实,所有的读写操作都是由leader处理,而所有的follower都复制leader的日志数据文件,如果leader出现故障时,follower就会被选举为leader。所以,可以这样说:
- Kafka中的leader负责处理读写操作,而follower只负责副本数据的同步
- 如果leader出现故障,其他follower会被重新选举为leader
- follower像一个consumer一样,拉取leader对应分区的数据,并保存到日志数据文件中

本文详细介绍了Kafka中分区的leader与follower的角色与工作原理,包括查看partition leader、AR、ISR、OSR的概念,以及leader选举的流程。此外,文章还探讨了Kafka的数据存储形式、生产消费流程、消息不丢失机制和数据积压的解决方案,揭示了Kafka高效稳定运行的秘诀。
订阅专栏 解锁全文
2216

被折叠的 条评论
为什么被折叠?



