15年架构师：再有面试官问你Kafka，就拿这篇学习笔记怼他

写在前面

Kafka是一个高度可扩展的消息系统，它在LinkedIn的中央数据库管理中扮演着十分重要的角色，因其可水平扩展和高吞吐率而被广泛使用，现在已经被多家不同类型的公司作为多种类型的数据管道和消息系统。

kafka的外在表现很像消息系统，允许发布和订阅消息流，但是它和传统的消息系统有很大的差异：

首先，kafka是个现代分布式系统，以集群的方式运行，可以自由伸缩
其次，kafka可以按照要求存储数据，保存多久都可以
第三，流式处理将数据处理的层次提示到了新高度，消息系统只会传递数据。kafka的流式处理能力可以让我们用很少的代码就能动态的处理派生流和数据集。所以，kafka不仅仅是个消息中间件

kafka不仅仅是个消息中间件，同时它是个流平台，这个平台上可以发布和订阅数据流（kafka的流，有一个单独的包stream的处理），并把它们保存起来，进行处理，这个就是kafka的设计理念。

那么，如何学习Kafka？

有了学习路线，接下来要做的就是补充自己的核心知识库，丰富自己的知识面。

在这里，我要安利的就是十五年架构师整理的学习Kafka的文档秘籍（一）——《Kafka笔记》

第1章对Kafka的基础概念进行笼统的介绍，之后讲解如何安装与配置Kafka,以及通过简单的生产消费消息的示例让读者能够快速地入门。
第2章主要是针对生产者客户端的讲解，包括生产者客户端参数、消息的发送、序列化、分区器、拦截器、原理解析等内容。
第3章主要是针对消费者客户端的讲解，包括消费者客户端参数、主题与分区的订阅、反序列化、消息的消费、位移提交、再均衡、拦截器、多线程实现等内容。
第4章主要介绍主题与分区的管理，包括创建主题、修改主题、删除主题、主题端参数配置、优先副本、分区重分配、复制限流，以及对分区数抉择的探讨等内容。
第5章主要讲解日志存储相关的内容，包括文件目录的布局、日志格式的演变、日志清理的细节、底层存储的原理等内容。

第6章主要对Kafka服务端的一些内部核心内容进行详细的阐述，包括协议设计、延时操作、控制器、leader 的选举等内容。
第7章主要是对Kafka客户端相关的原理剖析，当然其中也需要牵涉服务端的内容。这一章包括消费端分区分配策略、消费者协调器和组协调器、_ consumer_ offsets 的剖析、事务的介绍等内容。
第8章主要对可靠性、一致性等核心原理进行陈述，本章内容最为抽象，主要包括失效副本、ISR 伸缩、LEO与HW、Leader Epoch的介入、日志同步机制、可靠性分析等内容。
第9章主要是对Kafka相关应用的一些补充，包括一些重要的管理工具,还有Kafka Connect、Kafka Mirror Maker和Kafka Streams等内容。
第10章是与Kafka监控相关的内容，监控作为Kafka生态中的- -个必备内容，有着相当重要的地位，通过学习本章的内容可以让读者对整个监控的脉络设计和底层实现有清晰的认知。
第11章是对Kafka做一些功能性的扩展，包括过期时间、延时队列、死信队列、重试队列、消息路由、消息轨迹、消息审计、消息代理等内容，最后还通过对消息中间件选型的阐述以期让读者对整个消息中间件领域有发散性的思考。
第12章主要讲述的是Kafka 与Spark 集成的一些内容，包括Spark 基本概念、Spark Streaming、Structured Streaming，以及它们与Kafka集成的细节等内容。

秘籍（二）——Kafka源码剖析

本篇共五章，它们互相之间的联系并不是很强，读者可以从头开始阅读，也可以选择自己感兴趣的章节进行学习。

第1章是Kafka的快速入门，其中介绍了Kalka 的背景、特性以及应用场景。之后介绍了笔者在实践中遇到的一个以Kafka为中心的案例，并分析了在此案例中选择使用Kafka的具体原因和Kafka起到的关键作用。最后介绍了Kafka中的核心概念和Kafka源码调试环境的搭建。

第2章介绍了生产者客户端的设计特点和实现细节,剖析了KafkaProducer拦截消息、序列化消息、路由消息等功能的源码实现，介绍了RecordAccumulator 的结构和实现。最后剖析了KafkaProducer 中Sender线程的源码。

第3章介绍了Kafka的消息传递保证语义并给出了相关的实践建议,还介绍了Consumer Group Rebalance操作各个版本方案的原理和弊端。最后详细剖析了KafkaConsumer 相关组件的运行原理和实现细节。

第4章介绍了构成Kafka服务端的各个组件,依次分析了Kafka网络层、API层、日志存储、DelayedOperationPurgatory组件、Kafka 的副本机制、KafkaController. GroupCoordinator、Kafka的身份认证与权限控制以及Kafka监控相关的实现。本章是Kafka的核心内容，涉及较多的设计细节和编程技巧，希望读者阅读之后有所收获。