kafka producer

最新推荐文章于 2025-02-13 13:43:57 发布

转载最新推荐文章于 2025-02-13 13:43:57 发布 · 583 阅读

kafka 专栏收录该内容

6 篇文章

订阅专栏

本文深入解析KafkaProducer的工作原理，包括消息发送流程、消息确认机制、平滑扩容机制等内容。探讨了同步与异步发送的区别及如何通过配置提高消息发送的可靠性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文链接：http://blog.youkuaiyun.com/liuzhenfeng/article/details/50688842

Kafka Producer 工作流程

消息发送流程

Kafka Producer 发送消息的两种方式：同步发送、异步发送。

同步发送的流程图
异步发送流程图

发送流程说明（以异步发送为例）：

客户端创建Producer对象：创建该对象时，同时会创建EventHandler、ProducerPool对象。其中ProducerPool中保存对象SyncProducer对象，其初始个数由broker.size确定，该对象与Kafka Broker相连，负责消息的发送。
Producer对象调用send方法时，消息被放到阻塞队列。
Send Thread 从队列里取出消息，并根据消息的partkey计算出消息应该发送到的分片。
Send Thread根据分片信息去ProducerPool中找到对应的SyncProducer对象，发送消息。

Producer的Message Delivery

默认情况下request.required.acks = 0，Producer 只发送，并不保证消息发送成功，类似于HTTP，所以可能会丢消息。
消息的确认模式：
0：不保证消息的到达确认，只管发送，低延迟但是会出现消息的丢失
1：发送消息，并会等待leader 收到确认后，一定的可靠性
-1：发送消息，等待leader收到确认，并进行复制操作后，才返回，最高的可靠性。

所以，默认情况下，Producer 支持的是at most once , 可以将request.required.acks设置为-1，使其支持at least once .

Producer的平滑扩容机制

从上文我们了解到，在创建Producer时使用的配置属性列表中，并没有zookeeper的连接信息，当我们动态增加Broker后，Producer短是如何平滑扩容的呢？

在创建Produer对象时，需要指定 broker地址（部分broker的地址即可）。客户端会根据这个地址，定时（topic.metadata.refresh.interval.ms来设置）去取Broker的topic、partition、replicas等元数据信息。

当发现有新的borker时，客户端会创建一个新的SyncProduer对象连接到该broker，并将该对象放到ProducerPool中，等待发送消息，这样Producer端就支持了Broker动态的增减。

生产者定时更新topic元信息的时间间隔 ，若是设置为0，那么会在每个消息发送后都去更新数据
 topic.metadata.refresh.interval.ms = 600 * 1000

重难点理解：
刷新metadata并不仅在第一次初始化时做。为了能适应kafka broker运行中因为各种原因挂掉、paritition改变等变化，
eventHandler会定期的再去刷新一次该metadata，刷新的间隔用参数topic.metadata.refresh.interval.ms定义，默认值是10分钟。
这里有三点需要强调：

客户端调用send, 才会新建SyncProducer，只有调用send才会去定期刷新metadata在每次取metadata时，kafka会新建一个SyncProducer去取metadata，逻辑处理完后再close。根据当前SyncProducer(一个Broker的连接)取得的最新的完整的metadata，刷新ProducerPool中到broker的连接.每10分钟的刷新会直接重新把到每个broker的socket连接重建，意味着在这之后的第一个请求会有几百毫秒的延迟。如果不想要该延迟，把topic.metadata.refresh.interval.ms值改为-1，这样只有在发送失败时，才会重新刷新。Kafka的集群中如果某个partition所在的broker挂了，可以检查错误后重启重新加入集群，手动做rebalance，producer的连接会再次断掉，直到rebalance完成，那么刷新后取到的连接着中就会有这个新加入的broker。


说明：每个SyncProducer实例化对象会建立一个socket连接


特别注意:
在ClientUtils.fetchTopicMetadata调用完成后，回到BrokerPartitionInfo.updateInfo继续执行，在其末尾，pool会根据上面取得的最新的metadata建立所有的SyncProducer，即Socket通道producerPool.updateProducer(topicsMetadata)

在ProducerPool中，SyncProducer的数目是由该topic的partition数目控制的，即每一个SyncProducer对应一个broker，内部封了一个到该broker的socket连接。每次刷新时，会把已存在SyncProducer给close掉，即关闭socket连接，然后新建SyncProducer，即新建socket连接，去覆盖老的。
如果不存在，则直接创建新的。