kafka原理分析—网络层的实现原理分析

概述

本文分析kafka网络层的实现原理。

通过这篇文章我们可以对kafka broker的系统架构有一个整体的概念。这篇文章着重介绍kafka网络层的实现原理。

网络层功能介绍

kafka中网络层的主要功能是：

• 监听客户端的连接请求，和客户端建建立网络连接；
• 和客户端建立连接后，启动处理线程，接收客户端的命令请求；
• 把客户端的请求发送给消息处理子系统；

kafka网络层实现原理分析

和很多高效的服务器一样，kafka的网络层使用了：NIO+线程池的模式。这样，既保证了接收客户端请求的高效性，又使得服务端达到负载均衡(多线程)。

具体的实现示意图如下：

从上图可以看出，当和客户端完成连接后，会从线程池中获取一个线程，或创建一个线程来接手完成后的连接。后续，客户端发送过来的命令都由该线程负责处理。

kafka网络层启动流程

网络层启动流程如下图：

kafka网络层消息处理分析

kafka的消息处理的过程如下图所示：

broker接收请求

通过上图查看broker接收请求的分支，主要是在函数Processor.processCompletedReceives()中对接收到的请求进行处理。
对于接收到的请求，broker的处理很简单，主要完成以下几步：

• 解析请求头
• 创建一个RequestChannel.Request实体
• 并把该实体放到val requestQueue = ArrayBlockingQueue[BaseRequest]阻塞数组中

到此，请求接收就完成了。

当请求被放到requestQueue阻塞数组中后，KafkaRequestHandler(调用KafkaApis.handle()来处理请求)对象的线程会及时获取到该请求，并调用对应的KafkaApis.handle()对请求进行处理。

接收请求的示意图如下：

broker接收处理后返回的结果

当KafkaApis把请求处理完成后，会把结果保存到var responseQueue = new LinkedBlockingDeque[RequestChannel.Response]阻塞链表中。此时broker的Processor会及时得到通知，从该阻塞链表中取出返回结果。

总结

本文讲述了kafka中broker的网络层：如何接收连接请求，如何处理请求，如何接收请求的处理返回结果等的实现原理。
通过本文的分析可以看出：消费者-生产者这一经典的线程模型的不同的实现方式，和广泛的应用。

接下来的文章会继续分析kafka的broker是如何处理各种请求的，也就是API层的实现原理。