kafka--基础知识点--6.3--leader epoch机制

1 基于HW同步机制

在 0.11.0.0 版本之前， Kafka使用的是基于HW的同步机制，这种会在故障恢复时出现数据丢失和数据不一致的情况。

示例：
请看Kafka可靠性之HW与Leader Epoch 中的 HW机制之丢失消息 和 HW机制之数据不一致 两部分。

补充:

• 要想理解为什么会出现数据丢失和数据不一致，对 基于hw截断 的理解 很重要，主要要理解在出现故障恢复后是怎么截断的，其实对于截断并没有什么特别的机制，只是关键在于在故障恢复后继续 follower基于HW同步机制 同步leader的消息，follower发送fetch[包含leo]请求给leader，leader计算HW=min(leader_LEO，follower1_leader,…)，此处假设只有一个follower，然后leader响应给follower，然后follower拿到leader响应的HW后，基于此HW进行后边的消息同步，即：如果follower原来的LEO>HW，因为此时是从HW开始同步的，对于follower的原始消息来说就相当于截断了HW后原来的消息。

2 epoch机制

为了解决故障恢复时基于 HW同步机制 出现的数据丢失和数据不一致的情况， 0.11.0.0 版本加入了epoch机制。

epoch机制： 请看Kafka可靠性之HW与Leader Epoch 中的leader epoch 方案 部分。