吉衣の秋先生的博客

调优Kafka

跨集群备份解决方案MirrorMaker

授权机制

Kafka认证机制

KafkaAdminClient：Kafka的运维利器

怎么重设消费者组位移？

Kafka动态配置

主题管理

关于高水位和Leader Epoch的讨论

控制器组件（Controller）

消费者组重平衡全流程解析

Kafka 是如何处理请求的？

副本机制

消费者组消费进度监控

文章目录Kafka 核心技术与实战客户端实践及原理剖析21 | Java 消费者是如何管理TCP连接的?Kafka 核心技术与实战客户端实践及原理剖析21 | Java 消费者是如何管理TCP连接的?

多线程开发消费者实例Kafka 核心技术与实战客户端实践及原理剖析20 | 多线程开发消费者实例Kafka Java Consumer 设计原理从 Kafka 0.10.1.0 版本开始，KafkaConsumer 就变为了双线程的设计，即用户主线程和心跳线程。所谓用户主线程，就是启动 Consumer 应用程序 main 方法的那个线程，而新引入的心跳线程（...

文章目录Kafka 核心技术与实战客户端实践及原理剖析19 | CommitFailedException异常怎么处理？CommitFailedException异常说明典型的场景Kafka 核心技术与实战客户端实践及原理剖析19 | CommitFailedException异常怎么处理？CommitFailedException异常说明所谓 CommitFailedException，顾名思义就是 Consumer 客户端在提交位移时出现了错误或异常，而且还是那种不可恢复的严重异常。社区

文章目录Kafka 核心技术与实战客户端实践及原理剖析18 | Kafka中位移提交那些事儿自动提交位移手动提交位移细粒度提交位移Kafka 核心技术与实战客户端实践及原理剖析18 | Kafka中位移提交那些事儿Consumer 的消费位移，它记录了 Consumer 要消费的下一条消息的位移。Consumer 需要向 Kafka 汇报自己的位移数据，这个汇报过程被称为提交位移（Committing Offsets）。因为 Consumer 能够同时消费多个分区的数据，所以位移的提交实际上是

文章目录Kafka 核心技术与实战客户端实践及原理剖析17 | 消费者组重平衡能避免吗？Coordinator 协调者如何避免 Rebalance？Kafka 核心技术与实战客户端实践及原理剖析17 | 消费者组重平衡能避免吗？Coordinator 协调者Rebalance 就是让一个 Consumer Group 下所有的 Consumer 实例就如何消费订阅主题的所有分区达成共识的过程。在 Rebalance 过程中，所有 Consumer 实例共同参与，在协调者组件的帮助下，完成订阅主

文章目录Kafka 核心技术与实战客户端实践及原理剖析16 | 揭开神秘的“位移主题”面纱什么是位移主题？位移主题是怎么被创建的？Consumer 是怎么提交位移的呢？Kafka 核心技术与实战客户端实践及原理剖析16 | 揭开神秘的“位移主题”面纱什么是位移主题？__consumer_offsets 在 Kafka 源码中有个更为正式的名字，叫位移主题，即 Offsets Topic。Consumer 的位移管理机制就是将 Consumer 的位移数据作为一条条普通的 Kafka 消息，提

文章目录Kafka 核心技术与实战客户端实践及原理剖析15 | 消费者组到底是什么？Consumer Group位移（Offset）RebalanceKafka 核心技术与实战客户端实践及原理剖析15 | 消费者组到底是什么？Consumer GroupConsumer Group 是 Kafka 提供的可扩展且具有容错性的消费者机制。Consumer Group 下可以有一个或多个 Consumer 实例。这里的实例可以是一个单独的进程，也可以是同一进程下的线程。在实际场景中，使用进程更

文章目录Kafka 核心技术与实战客户端实践及原理剖析14 | 幂等生产者和事务生产者是一回事吗？什么是幂等性（Idempotence）？幂等性 Producer事务型 ProducerKafka 核心技术与实战客户端实践及原理剖析14 | 幂等生产者和事务生产者是一回事吗？消息交付可靠性保障，是指 Kafka 对 Producer 和 Consumer 要处理的消息提供什么样的承诺。常见的承诺有以下三种：最多一次（at most once）：消息可能会丢失，但绝不会被重复发送。至少一次（

文章目录Kafka 核心技术与实战客户端实践及原理剖析13 | Java生产者是如何管理TCP连接的？为何采用 TCP？Kafka 生产者程序概览何时创建 TCP 连接？何时关闭 TCP 连接？Kafka 核心技术与实战客户端实践及原理剖析13 | Java生产者是如何管理TCP连接的？为何采用 TCP？Apache Kafka 的所有通信都是基于 TCP 的，而不是基于 HTTP 或其他协议。原因呢在于：从社区的角度来看，在开发客户端时，人们能够利用 TCP 本身提供的一些高级功能，比如

文章目录Kafka 核心技术与实战客户端实践及原理剖析12 | 客户端都有哪些不常见但是很高级的功能？什么是拦截器？Kafka 拦截器典型使用场景Kafka 核心技术与实战客户端实践及原理剖析12 | 客户端都有哪些不常见但是很高级的功能？什么是拦截器？拦截器的基本思想就是允许应用程序在不修改逻辑的情况下，动态地实现一组可插拔的事件处理逻辑链。它能够在主业务操作的前后多个时间点上插入对应的“拦截”逻辑。下面这张图展示了 Spring MVC 拦截器的工作原理：拦截器 1 和拦截器 2 分别

文章目录Kafka 核心技术与实战客户端实践及原理剖析11 | 无消息丢失配置怎么实现？“消息丢失”案例最佳实践Kafka 核心技术与实战客户端实践及原理剖析11 | 无消息丢失配置怎么实现？Kafka 只对“已提交”的消息（committed message）做有限度的持久化保证。第一个核心要素是“已提交的消息”。当 Kafka 的若干个 Broker 成功地接收到一条消息并写入到日志文件后，它们会告诉生产者程序这条消息已成功提交。此时，这条消息在 Kafka 看来就正式变为“已提交”消息

文章目录Kafka 核心技术与实战客户端实践及原理剖析10 | 生产者压缩算法面面观怎么压缩？何时压缩？何时解压缩？各种压缩算法对比Kafka 核心技术与实战客户端实践及原理剖析10 | 生产者压缩算法面面观怎么压缩？Kafka 的消息层次都分为两层：消息集合（message set） 以及消息（message）。一个消息集合中包含若干条日志项（record item），而日志项才是真正封装消息的地方。Kafka 底层的消息日志由一系列消息集合日志项组成。Kafka 通常不会直接操作具体的一条

文章目录Kafka 核心技术与实战客户端实践及原理剖析09 | 生产者消息分区机制原理剖析为什么分区？都有哪些分区策略？轮询策略随机策略按消息键保序策略Kafka 核心技术与实战客户端实践及原理剖析09 | 生产者消息分区机制原理剖析为什么分区？Kafka 有主题（Topic）的概念，它是承载真实数据的逻辑容器，而在主题之下还分为若干个分区，也就是说 Kafka 的消息组织方式实际上是三级结构：主题 - 分区 - 消息。主题下的每条消息只会保存在某一个分区中，而不会在多个分区中被保存多份。官网

文章目录Kafka 核心技术与实战Kafka的基本使用08 | 最最最重要的集群参数配置（下）Topic 级别参数JVM 参数操作系统参数Kafka 核心技术与实战Kafka的基本使用08 | 最最最重要的集群参数配置（下）Topic 级别参数如果同时设置了 Topic 级别参数和全局 Broker 参数，Topic 级别参数会覆盖全局 Broker 参数的值，而每个 Topic 都能设置自己的参数值，这就是所谓的 Topic 级别参数。保存消息方面：retention.ms：规定了该

文章目录Kafka 核心技术与实战Kafka的基本使用07 | 最最最重要的集群参数配置（上）Broker 端参数Kafka 核心技术与实战Kafka的基本使用07 | 最最最重要的集群参数配置（上）Broker 端参数也被称为静态参数（Static Configs）。所谓静态参数，是指必须在 Kafka 的配置文件 server.properties 中进行设置的参数，不管是新增、修改还是删除。同时，必须重启 Broker 进程才能令它们生效。而主题级别参数的设置则有所不同，Kafka 提供了

文章目录Kafka 核心技术与实战Kafka的基本使用06 | Kafka线上集群部署方案怎么做？操作系统磁盘磁盘容量带宽Kafka 核心技术与实战Kafka的基本使用06 | Kafka线上集群部署方案怎么做？线上环境需要仔细地考量各种因素，结合自身的业务需求而制定。下面就分别从操作系统、磁盘、磁盘容量和带宽等方面来讨论一下。操作系统Kafka 不是 JVM 系的大数据框架吗？Java 又是跨平台的语言，把 Kafka 安装到不同的操作系统上会有什么区别吗？Kafka 由 Scala 语