Kafka如何保证数据的可靠性和一致性

Kafka如何保证数据的可靠性和一致性

• 1 数据可靠性
  • 1.1 Topic 分区副本

Kafka 可以保证单个分区里的事件是有序的，分区可以在线（可用），也可以离线（不可用）。在众多的分区副本里面有一个副本是 Leader，其余的副本是 follower，所有的读写操作都是经过 Leader 进行的，同时 follower 会定期地去 leader 上的复制数据。当 Leader 挂了的时候，其中一个 follower 会重新成为新的 Leader。通过分区副本，引入了数据冗余，同时也提供了 Kafka 的数据可靠性。

Kafka 的分区多副本架构是 Kafka 可靠性保证的核心，把消息写入多个副本可以使 Kafka 在发生崩溃时仍能保证消息的持久性。

 

• 1.2 Producer 往 Broker 发送消息

 Kafka 在 Producer 里面提供了消息确认机制。也就是说我们可以通过配置来决定消息发送到对应分区的几个副本才算消息发送成功。

对于某些不太重要的数据，对某些数据的可靠性要求不是很高，能够容忍数据的少量丢失，所以没必要等待ISR中的follower全部接受成功；

kafka为用户设置了三种可靠性级别，通过acks参数设定：

0： producer不等broker的ack,