Kafka Producer 工作流程

Kafka Producer 工作流程

消息发送流程

Kafka Producer 发送消息的两种方式：同步发送、异步发送。

• 同步发送的流程图

  

• 异步发送流程图

  

发送流程说明（以异步发送为例）：

1. 客户端创建Producer对象：创建该对象时，同时会创建EventHandler、ProducerPool对象。其中ProducerPool中保存对象SyncProducer对象，其初始个数由broker.size确定，该对象与Kafka Broker相连，负责消息的发送。
2. Producer对象调用send方法时，消息被放到阻塞队列。
3. Send Thread 从队列里取出消息，并根据消息的partkey计算出消息应该发送到的分片。
4. Send Thread根据分片信息去ProducerPool中找到对应的SyncProducer对象，发送消息。

Producer的Message Delivery

默认情况下request.required.acks = 0，Producer 只发送，并不保证消息发送成功，类似于HTTP，所以可能会丢消息。
消息的确认模式：
0：不保证消息的到达确认，只管发送，低延迟但是会出现消息的丢失
1：发送消息，并会等待leader 收到确认后，一定的可靠性
-1：发送消息，等待leader收到确认，并进行复制操作后，才返回，最高的