kafka的副本数据的同步原理

最新推荐文章于 2025-06-05 12:55:35 发布

小马的学习笔记

最新推荐文章于 2025-06-05 12:55:35 发布

阅读量7.1k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： Kafka-1.0 kafka1.0 文章标签： Kafka-1.0

本文链接：https://blog.youkuaiyun.com/madongyu1259892936/article/details/99596335

在《kafka的partition 的高可用副本机制》一文中介绍了parttion的高可用原理，副本机制中的几个概念和协同机制后，下面来说说副本数据的同步原理。

数据的同步过程

了解了副本的协同过程以后，还有一个最重要的机制，就是数据的同步过程。它需要解决

怎么传播消息
在向消息发送端返回 ack 之前需要保证多少个 Replica已经接收到这个消息

数据的处理过程是

Producer 在发布消息到某个 Partition 时，先通过ZooKeeper 找到该 Partition 的 Leader 【 get /brokers/topics//partitions/2/state】，然后无论该Topic 的 Replication Factor 为多少（也即该 Partition 有多少个 Replica(副本)），Producer 只将该消息发送到该 Partition 的Leader。Leader 会将该消息写入其本地 Log。每个 Follower都从 Leader pull 数据。这种方式上，Follower 存储的数据顺序与 Leader 保持一致。Follower 在收到该消息并写入其Log 后，向 Leader 发送 ACK。一旦 Leader 收到了 ISR 中的所有 Replica 的 ACK，该消息就被认为已经 commit 了，Leader 将增加 HW(HighWatermark)并且向 Producer 发送ACK。

初始状态

初始状态下，leader 和 follower 的 HW 和 LEO 都是 0，leader 副本会保存 remote LEO，表示所有 follower LEO，也会被初始化为 0，这个时候，producer 没有发送消息。follower 会不断地个 leader 发送 FETCH 请求，但是因为没有数据，这个请求会被 leader 寄存，当在指定的时间之后会强制完成请求，这