一、副本管理器是什么
副本管理器负责对副本管理。由于副本是分区的副本,所以对副本的管理体现在对分区的管理。
副本机制使得kafka整个集群中,只要有一个代理存活,就可以保证集群正常运行。这大大提高了Kafka的可靠性和稳定性。
备注:
1、LEO:LEO是Log End Offset缩写。表示每个分区副本的最后一条消息的位置,也就是说每个副本都有LEO。
2、HW:HW是Hight Watermark缩写,他是一个分区所有副本中,最小的那个LEO。

二、副本管理器所承担的职责如下:
(1)副本过期检查
(2)追加消息
(3)拉取消息
(4)副本同步过程
(5)副本角色转换
(6)关闭副本
备注:Kafka中代理的存活,需要满足以下两个条件:
- 存活的节点要维持和zookeeper的session连接,通过zookeeper的心跳机制实现
- Follower副本要与leader副本保持同步,不能落后太多。
满足以上条件的节点在ISR中,一旦宕机,或者中断时间太长,Leader就会把同步副本从ISR中踢出。
更多内容:
MQ篇(1)--ActiveMQ、RabbitMQ、RocketMQ、kafka中间件对比
本文详细介绍了Kafka副本管理器的功能与职责,包括副本过期检查、消息追加及拉取、副本同步等关键流程,并阐述了LEO与HW的概念及其作用。
1378

被折叠的 条评论
为什么被折叠?



