Kafka的工作原理和过程

最新推荐文章于 2024-09-28 18:34:35 发布

原创最新推荐文章于 2024-09-28 18:34:35 发布 · 571 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Kafka

Kafka 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了Kafka的生产消息过程，包括消息写入算法、路由策略、HW截断机制和可靠性机制。在消费消息部分，解析了消费者消费流程、Partition Leader选举以及重复消费的解决方案。

2.2 Partition Leader选举范围

2.3 重复消费问题及解决方案

第1章生产消息

1.1 消息写入算法

消息生产者将消息发送给broker，并形成最终可供消费者消费的log，是个比较复杂的过程。

producer向broker集群提交消息发送请求
broker controller接受该请求，并根据消息路由策略计算出该消息要写入的partition
broker controller根据 topic 和 partition 去 zookeeper 中找对应的znode状态中该partition的leader。
broker controller 向producer反馈消息要写入的partition leader。
producer发送消息给该leader。
leader接受消息并将该消息写入本地log，通知ISR中的followers进行消息同步。
ISR中的followers从leader同步消息完成后，向leader发送ACK。
leader收到所有ISR中的follower的ACK后，增加HW表示消费者已经可以消费到该位置了。

1.2 消息路由策略

在通过API方式发送消息时，生产者是以record为消息进行发布的。record中包含key和value，value才是真正的消息本身，而key由于路由消息所有存放的partition。消息要写入到哪个partition并不是随机的，而是有路由策略的。

若指定了partition，则直接写入到指定的partition。
若未指定partition但指定了key，则通过对key的hash值与partition数量取模，该取模结果就是要选出的partition索引。
若 partition 和 key 都未指定，则使用轮询算法选出一个partition。

1.3 HW截断机制

如果partition leader接收到了新的消息，ISR中其它Follower正在同步过程中，还未同步完毕时leader宕机了。。此时就需要重新选举出新的leader。这时就需要HW拦截机制了，若没有HW拦截机制，将会导致partition中leader与follower数据的不一致。

1.4 消息发送的可靠性机制

生产者向kafka发送消息是，可以选择需要的可靠性级别。通过acks参数的值进行设置。

0 值
异步发送。生产者想kafka发送消息儿不需要kafka反馈成功ack。该方式效率最高，但可靠性最低。可能会存在消息丢失的情况。
1 值
同步发送，默认值。生产者发送消息给kafka，broker的partition leader在收到消息后马上发送成功ack，生产者收到后知道消息发送成功，然后会再发送消息；如果一直未收到kafka的ack，则生产者会认为消息发送失败，会重发消息。
-1 值
同步发送。生产者发送消息给kafka，kafka收到消息后要等到ISR列表中的所有副本都同步消息完成后，才向生产者发送成功ack。如果生产者一直未收到kafka的ack，则认为消息发送失败，会自动重发消息。