MQ篇(3-3)--kafka核心组件之二-副本管理器

本文详细介绍了Kafka副本管理器的功能与职责,包括副本过期检查、消息追加及拉取、副本同步等关键流程,并阐述了LEO与HW的概念及其作用。

一、副本管理器是什么


副本管理器负责对副本管理。由于副本是分区的副本,所以对副本的管理体现在对分区的管理。

副本机制使得kafka整个集群中,只要有一个代理存活,就可以保证集群正常运行。这大大提高了Kafka的可靠性和稳定性。

备注:

1、LEO:LEO是Log End Offset缩写。表示每个分区副本的最后一条消息的位置,也就是说每个副本都有LEO。

2、HW:HW是Hight Watermark缩写,他是一个分区所有副本中,最小的那个LEO。

二、副本管理器所承担的职责如下:


(1)副本过期检查

(2)追加消息

(3)拉取消息

(4)副本同步过程

(5)副本角色转换

(6)关闭副本

备注:Kafka中代理的存活,需要满足以下两个条件:

  • 存活的节点要维持和zookeeper的session连接,通过zookeeper的心跳机制实现
  • Follower副本要与leader副本保持同步,不能落后太多。

满足以上条件的节点在ISR中,一旦宕机,或者中断时间太长,Leader就会把同步副本从ISR中踢出。

​​​​​​​

 更多内容:

MQ篇(1)--ActiveMQ、RabbitMQ、RocketMQ、kafka中间件对比

MQ篇(2-1)--最详细的RabbitMQ介绍

MQ篇(2-2)--RabbitMQ如何保证消息的可靠性

MQ篇(3-1)--kafka基本原理

MQ篇(3-2)--kafka核心组件之一-协调器

MQ篇(3-3)--kafka核心组件之二-副本管理器

MQ篇(3-4)--kafka核心组件之三-控制器

MQ篇(3-5)--kafka核心组件之四-日志管理器

MQ篇(3-6)--kafka特点

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sun cat

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值