- 可靠性保证是通过一个ISR列表来保证,当客户端发送消息后,得到ACK的确认。这个ACK确认的节点需要达到一定数目才能返回发送成功。也就是说需要得到一定数目节点的ACK后才算真正接收成功。这样就可以有多个副本来保证数据的可靠性,当leader挂了之后,还有相同数据的副本替换上
- 数据一致性,是通过每个节点都会维护一个LEO (log end offset) 所有ISR列表中节点的最小的LEO 就作为HW(high wateroffset)。消费者只能消费HW之前的数据。当leader挂了之后,ISR列表中副本成为Leader。当然他的数据肯定大于等于HW。这时候其他的副本把HW之后的数据截取掉,从新的leader中同步数据。这样就可以保证数据的一致性
kafaka 保证可靠性和数据一致性
最新推荐文章于 2025-02-13 16:14:22 发布
本文深入探讨了Kafka如何通过ISR列表确保消息的可靠性,即使在leader节点故障时也能保持数据完整。同时,通过LEO和HW机制,保证了在leader切换时数据的一致性,确保所有消费者接收到的数据都是最新的且一致的。
994

被折叠的 条评论
为什么被折叠?



