Kafka的数据消费过程以及消息不丢失机制

Kafka数据写入流程

执行流程：

1. 生产者获取对应分区的 leader 位置
2. 发数据给leader
3. broker进程上的leader将消息写入到本地log中
4. 其他的follower从leader上拉取消息，写入到本地log，并向leader发送ACK
5. leader接收到所有的ISR中的Replica的ACK后，并向生产者返回ACK表示成功。
   

Kafka数据消费流程

在所有消费队列当中，在消费数据的流程分为两种：推模式（push）、拉模式（pull）

• 推模式（push）：消息队列记录所有的消费的状态，某一条消息如果被标记为已消费，则消费者是不能再对它进行消费的
• 拉模式（pull）：就是消费者自己记录消费状态，每个消费者互相独立地顺序拉取数据

• kafka 采用的拉取模型，由消费者自己记录消费状态，每个消费者互相独立地顺序拉取每个分区的消息。
• 消费者可以按照任意的顺序消费消息。
  比如，消费者可以重置到旧的偏移量，重新处理之前已经消费过的消息；或者直接跳到最近的位置，从当前的时刻开始消费。

执行流程：