Kafka 发送消息流程

客户端的几个组件：

• KafkaProducer      KafkaProducer 是一个生产者客户端的进程，通过该对象启动生产者来发送消息
• RecordAccumulator   记录收集器，收集发送的消息缓存到客户端
• Sender                            读取缓存，进行一些必要的转换    批量传到selector
• Selector                       传送消息到broker

 一条消息首先需要确定要被存储到那个 partition 对应的双端队列上；其次，存储消息的双端队列是以批的维度存储的，即 N 条消息组成一批，一批消息最多存储 N 条，超过后则新建一个组来存储新消息；其次，新来的消息总是从左侧写入，即越靠左侧的消息产生的时间越晚；最后，只有当一批消息凑够 N 条后才会发送给 Broker，否则不会发送到 Broker 上

 

确定消息的 partition 位置

消息可分为两种，一种是指定了 key 的消息，一种是没有指定 key 的消息。

对于指定了 key 的消息，partition 位置的计算方式为：Utils.murmur2(key) % numPartitions，即先对 key 进行哈希计算，然后在于 partition 个数求余，从而得到该条消息应该被存储在哪个 partition 上。

对于没有指定 key 的消息，partition 位置的计算方式为：采用 round-robin 方式确定 partition 位置，即采用轮询的方式，平均的将消息分布到不同的 partition 上，从而避免某些 partition 数据量过大影响 Broker 和消费端性能

 

Sender 的主要工作

第一步：扫描记录收集器中满足条件的批数据，然后将 partition -> 批数据映射转换成 BrokerId -> N 批数据的映射。第二步：Sender 线程会为每个 BrokerId 创建一个客户端请求，然后将请求交给 NetWorkClient，由 NetWrokClient 去真正发送网络请求到 Broker。

NetWorkClient 的工作内容

Sender 线程准备好要发送的数据后，交由 NetWorkClient 来进行网络相关操作。主要包括客户端与服务端的建连、发送客户端请求、接受服务端响应。完成如上一系列的工作主要由如下方法完成。

1. reday()方法。从记录收集器获取准备完毕的节点，并连接所有准备好的节点。

2. send()方法。为每个节点创建一个客户端请求，然后将请求暂时存到节点对应的 Channel（通道）中。

3. poll()方法。该方法会真正轮询网络请求，发送请求给服务端节点和接受服务端的响应