Kafka如何保证数据可靠性

Kafka的数据可靠性保证

• 副本数据同步策略
• ISR机制
• ack应答机制
• 故障处理：HW、LEO

1. 副本数据同步策略

两种副本数据同步策略（Kafka选择第二种）

方案	优点	缺点
半数以上完成同步，就发送ack	延迟低	选举新的leader时，容忍n台节点的故障，需要2n+1个副本
全部完成同步，才发送ack	选举新的leader时，容忍n台节点的故障，需要n+1个副本	延迟高

Kafka选择了第二种方案，原因如下：

• 为了容忍n台节点的故障，第一种方案需要2n+1个副本，而第二种方案只需要n+1个副本，而Kafka的每个分区都有大量的数据，第一种方案会造成大量数据的冗余。
• 虽然第二种方案的网络延迟会比较高，但网络延迟对Kafka的影响较小。

2. ISR

为了防止Kafka在选择第二种数据同步策略时，因为某一个follower故障导致leader一直等下去，Leader维护了一个动态的in-sync replica set (ISR)。
ISR：同步副本，和leader保持同