Kafka 架构、核心机制和场景解读

Kafka 的简介与架构 在深入理解Kafka之前,先介绍一下Kafka中的术语。下图展示了Kafka的相关术语以及之间的关系:上图中一个topic配置了3个partition。Partition1有两个offset:0和1。Partition2有4个offset。Partition3有1个offset。副本的id和副本所在的机器的id恰好相同。如果一个topic的副本数为3,那么Kafka将在集群中为每个partition创建3个相同的副本。集群中的每个broker存储一个或多个partition。 阅读详情

摘要

Kafka 是一款非常优秀的开源消息引擎,以消息吞吐量高、可动态扩容、可持久化存储、高可用的特性,以及完善的文档和社区支持成为目前最流行的消息队列中间件。

Kafka 的开发社区一直非常活跃,在消息引擎的领域取的不俗成绩之后,不断拓展自己的领域,在基于事件的流处理平台方向一直发力,不断自我更新迭代力图成为这个领域内的事实标准。

Kafka 的消息引擎功能十分强大,但是一直没有停下自我突破的脚步,随着 3.0 版本的中 KRaft 协议的推出,Zookeeper 的退出进程正式启动,Kafka 开始了又一次的自我蜕变。

ZK 的移除是一个非常大胆的举动,因为 ZK 在 Kafka 的集群管理中居于核心的地位,不会轻易取代,那为什么 Kafka 选择了自行实现选举机制的路线?

此外,虽然 Kafka 具备诸多优秀的特性,这些如今被视为最佳实践的特性也是不断演化而来的,从其不断升级改进的过程中也能间接反映出生产环境所面临的现实问题,那么 Kafka 在实际的生产环境中的表现究竟如何?

作为业务方,使用 Kafka 作为消息中间件进行业务开发,保证服务平稳运行需要避开哪些雷区?

这篇文档将从一个比较高的视角,从 Kafka 的设计理念、架构到实现层面进行深入解读,随着对 Kafka 相关机制的深入了解,这些问题的答案将浮出水面。

须知事项

  • 这篇文档基于 Kafka 最近刚刚发布的 3.2 版本源码为基础进行介绍,主要讨论 Java 和 Scala 语言实现的原版客户端和服务端,其他语言版本的客户端与这篇文档介绍的机制在实现上会有较大出入,需要留意

  • 此外,字节的业务很多使用的都是自研的 BMQ [3],在客户端协议上是完全兼容的,但是服务端进行了完全的重构,本文介绍的相关服务端机制并不适用

  • Kafka 整个项目包括 Core、Connect、Streams,只有 Core 这一部分是我们通常说的核心消息引擎组件,另外两个都是基于这个核心实现的上层应用,这篇文章主要介绍的就是 Kafka Core 相关的内容,下面的 「Kafka 的应用架构部分」会对这一点做简要介绍

名词对照

下面的表格给出了 Kafka 中出现的一些高频和重要概念的对照解释

英文名

中文名

解释

备注

KIP

Kafka 改进提案

KIP(Kafka Improvement Proposal)是针对 Kafka 的一些重大功能变更的提案,通常包括改进动机、提议的改进内容、接口变更等内容

Partition

分区

一个独立不可再分割的消息队列,分区中会有多个副                                 本保存消息,他们的状态应该是一致的

Kafka 分区副本的同步机制不是纯异步的,有高水位机制去跟踪从副本的同步进度,并且有对应的领导者副本选举机制保证分区整体对外可见的消息都是已提交的

Replica

副本

分区中消息的物理存储单元,通常对应磁盘上的一个日志目录,目录中会对消息文件进一步进行分段保存

Leader Replica

主副本、领导者副本

指一个 Partition 的多个副本中,对外提供读写服务的那个副本

Kafka 集群范围有对等地位的组件是 Controller

Consumer

消费者

Kafka 客户端消费侧的一个角色,负责将 Broker 中的消息拉取到客户端本地进行处理,还可以使用 Kafka 提供的消费者组管理机制进行消费进度的跟踪

Consumer Group Leader

消费者组领导者

通常指 Consumer Group 中负责生成分区分配方案的 Consumer

这个概念非常容易和上面的 Leader Replica 混淆

Log start offset

消息起始偏移

Log start offset,Kafka 分区消息可见性的起点

此位置对应一条消息,对外可见可以消费

LSO

上次稳定偏移

Last stable offset,和 Kafka 事务相关的一个偏移

当消费端的参数isolation.level 设置为“read_committed"的时候,那么消费者就会忽略事务未提交的消息,既只能消费到LSO(LastStableOffset)的位置

LEO

消息终止偏移

Log end offset,Kafka 分区消息的终点

LEO 是下一条消息将要写入的位置,对外不可见不可供消费

HW

高水位

High water mark,用于控制消息可见性,HW 以下的消息对外可见

HW 的位置可能对应一条消息,但是对外不可见不可以消费,HW 的最大值是 LEO

LW

低水位

Low water mark,用于控制消息可见性,LW 及以上的消息对外可见

一般情况下和 Log start offset 可以等价替换,代码里也是这个逻辑

ISR

已同步副本

In sync replica 指满足副本同步要求的副本集合,包括领导者副本

副本同步是按照时间差进行判定的,而非消息偏移的延迟

Kafka 的应用生态

下面这张是我根据 Confluent 博客的一张资料图重绘的 Kafka 应用生态架构图,在正式开始介绍本文的主题之前,我们先了解一下 Kafka 的整个应用生态

​这张图中居于核心地位的是 Kafka Core 的集群,也是我们常用的消息引擎的这部分功能,是我们这篇文档重点介绍的对象

在核心的周围,第一层是 Producer 和 Consumer 的基础 API,提供基础事件流消息的推送和消费

而基于这些基础 API Kafka 提供了更加高级的 Connect API,能够实现 Kafka 和其他数据系统的连接,比如消息数据自动推送到 MySQL 数据库或者将 RPC 请求转换为事件流消息进行推送

此外,Kafka 基于自己的消息引擎打造了一个流式计算平台 Streams,提供流式的计算和存储一体化的服务

Kafka Core 架构

Kafka Core 架构部分的解读从模型、角色和实体、典型架构三个方向层层递进进行介绍

消息模型

Kafka 的消息模型主要由生产消费模型、角色和实体,以及实体关系构成,前者表示了消息的生产消费模式,后者描述了为了实现前者,其内部角色和实体存在怎样的逻辑关系

基本消息生产消费模型如下图所示:

​

图中展示了一个非常基本的生产消费场景,生产端向队列尾部发送消息,消费端从队列头部开始消费

从左往右看分别是消费端、消息队列、生产端,这三块我们分开进行详细介绍

消费端

在消费端有众多消费者,它们之间用消费者组关联起来

注意图中 Consumer 0 是没有分配到分区进行消费的,因为消费者组主要起个负载均衡的作用,一个分区被两个消费者消费从业务视角来看就是在重复消费了

对已经分配到分区的消费者来说,消费从队列的头部开始,在 HW 前结束

消息队列

消息队列处于整个消息模型中心的地位,是连接生产端和消费端的枢纽,Kafka 在性能优化上做的工作最多的就是这一个部分

因为 Kafka 的消息存储是队列的数据结构,只允许消息追加写入,这样的设计能最大化利用现有持久化存储介质的写入性能(SSD 和 HDD 都存在顺序写入性能远大于随机写入的特性),实现消息队列的高吞吐量

此外,Kafka 的队列还设计了高水位机制,避免未被从副本完成同步的消息被消费者感知并消费

生产端

生产端的 Producer 持续发送消息到队列中,消息追加到队列尾部,通过指定分区算法可以决定消息发往 Topic 下的哪个分区

小结

Kafka 的整个消息模型还是基于经典的消息模型去设计和改进的,消息模型的设计还是非常简洁易懂的,它的创新和优势就是在于将这一套模型用分布式的多机模式实现出来,能支撑住大并发、高吞吐量场景下的低时延、高可用的业务需求

当然这套模型之下,还有一些比较小的话题值得去讨论,我这里选了两个话题展开叙述来结束这一节

Push vs Pull

在 Kafka 定义的消息模型中,消费端是通过主动拉取消息的方式来消费的,但是与之对应的还有消息推送模型,Broker 对生产者推送过来的消息进行主动分发和推送到消费端

直觉上我们会觉得这种方式很自然,或者认为这是消息引擎的唯一范式,但是实际上关于为什么选择 Pull 的方式来进行消费,Kafka 的官方文档中关于这部分设计有专门列出来,主要讨论的点是消息消费的流控策略应该放在 Broker 端还是 Consumer 端。

零拷贝(Zero-Copy)

零拷贝从广义的角度来看不是一种具体的技术实现(仅指操作系统实现的零拷贝机制),而是一种优化思想或者技巧,针对程序运行中不可变的数据或者不可变的部分尽量减少或者取消内存数据的拷贝,用内存地址去引用这些数据

Kafka 的消息队列的核心功能就是进行各种数据的 IO 和转发(IO 密集型应用),零拷贝带来的收益非常明显:

  • 减少了 JVM 堆内存占用,降低了 GC 导致的服务暂停和 OOM 风险

  • 减少了大批量频繁内存拷贝的时间,能大幅优化数据吞吐性能

所以很有必要进行这样的优化

Kafka 的实例是运行在 JVM 里的,零拷贝的技术落地也离不开 Java 运行时提供的环境,具体到实现上主要依赖 Java 提供的 FileChannel 去映射文件

针对消息拉取消费的场景,直接将日志段 FileChannel 中对应偏移和长度(Kafka 的日志段都有对应的索引文件,所以不需要读取原始消息日志段文件就能拿到这些信息)的数据发送到网络栈,规避应用层的数据拷贝中转

针对消息推送生产的场景,从网络栈读取出来处理好的消息直接从内存 Buffer 中向 FileChannel 写入追加,当然这个场景并没有实现严格意义上的零拷贝(JVM 堆内存存在于用户空间,写入文件中必须要拷贝到内核),只不过 Kafka 用了 Me

kafka宝典 基础理论篇 前段时间leader让我选择一个东西深入研究下,我选择了Kafka,学习中以书籍为主,也在网上找了很多参考文献,其实Kafka主要就是网络通行和数据存储,更像是一个数据库,客户端的行为就是提交数据和获取数据,经过了一个月的陆陆续续的学历和文档整理,这次做一次整合怪,把总体的学习分享出来。下一步准备抽时间研究kafka源码。 阅读详情

相关推荐

Kafka 设计架构原理详细解析(超详细图解)

什么是Kafka? Apache Kafka是一个开放源代码的分布式事件流平台,成千上万的公司使用它来实现高性 能数据管道,流分析,数据集成和关键任务等相关的应用程序。 Kafka的应用场景 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据 (相当于message queue),特别是在集群情况下,多个服务器需要建立交流 构建实时流式应用程序,对这些流数据进行转换或者影响。 (就是流处理,通过kafka stream topic和topic之间内部进行变化) Kafka架构设计 Produce

July的博客 2万+

Kafka源码解读 - 架构及核心概念

Kafka源码解读 - 架构及核心概念 架构设计 Kafka结构 Broker:一台Kafka服务器就是一个Broker,集群由多个Broker组成,一个Broker中保存有多个Topic的不同分区副本,Broker之间没有主从关系。 Topic:每条发送到Kafka集群的消息都属于某个主题Topic,物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存在一个或多个Broker上,但从客户角度不需要关心数据存放在何处,只需要指定Topic就可以生产和消费消息。 Partition:一个

windybear_2021的博客 3036

云原生大数据:Kafka+Flink实时处理架构

在当今数字化时代,数据呈爆炸式增长,企业和组织需要能够实时处理大量数据以获取有价值的信息。云原生大数据技术为解决这一问题提供了有效的途径。Kafka是一个高性能、分布式的消息队列系统,而Flink是一个开源的流处理框架,二者结合形成的实时处理架构能够高效地处理实时数据流。本文的目的是详细介绍Kafka+Flink实时处理架构的原理、实现方法以及实际应用,涵盖从核心概念到项目实战的各个方面,帮助读者深入理解并掌握这一架构。

AI云原生与云计算技术学院 1376

Kafka在大数据生态中的角色与应用场景

Kafka作为一款高性能、分布式的消息队列系统,在大数据领域扮演着至关重要的角色。本文的目的是全面深入地探讨Kafka在大数据生态中的角色以及其广泛的应用场景。我们将涵盖Kafka的基本概念、工作原理、核心算法、数学模型,通过实际的项目案例展示其具体应用,分析其在不同行业的应用场景,为读者提供一个完整的Kafka知识体系。同时,还会推荐相关的学习资源、开发工具和研究论文,帮助读者进一步深入学习和研究Kafka。本文将按照以下结构进行阐述:首先介绍Kafka的核心概念和联系,包括其架构和工作流程;

AGI×大数据,开启智能时代的认知跃迁;解码AGI,赋能数据驱动的智能革命。 1119

机械臂速成小指南(八):标准DH法实战——从连杆坐标系到运动学方程

本文详细介绍了机械臂运动学建模中的标准DH法,从连杆坐标系的建立到运动学方程的求解,提供了实用的操作步骤和代码示例。通过DH参数表和变换矩阵的构建,帮助读者快速掌握机械臂运动学建模的核心技术,并解决实际应用中的常见问题。

oo7890的博客 212

从东南大学906被刷到调剂过程(内含个人感想)

介绍了自己在看到初试成绩,到后期复习以及调剂的全过程,当中也包含了自己的复试中的感想,希望大家理性看待。

Philo的博客 2862

Solidworks在Windows 11上安装失败?这里有解决方案

通过上述步骤,你应该能够解决在Windows 11上安装Solidworks时遇到的问题。这个方法通过调整注册表的设置,提高了安装程序的权限,从而有效避免了安装过程中的权限障碍。当然,每个系统的具体情况可能有所不同,如果在尝试上述方法后仍然无法解决问题,建议联系Solidworks的技术支持团队,获取更专业的帮助。希望本文能够对你有所帮助,祝你工作顺利,设计无忧!

nntxthml的博客 4917

RK3568_Android15适配以太网网卡gmac+国产phy芯片YT8531

本文介绍了在Android15 SDK上适配正点原子ATK-DLRK3568开发板网卡的过程。开发板采用GMAC接口搭配YT8531C PHY芯片,包含两个千兆网口。主要内容包括:硬件原理图确认、网络链路连接方式、内核DTS配置(包括GMAC0和GMAC1的参数设置)、PHY驱动适配(基于motorcomm.c驱动文件)、PHY寄存器读写调试方法以及MAC地址设置方式。文章还分析了常见问题,如网卡注册后无法ping通网络的故障现象。通过详细的硬件确认和软件配置,实现了双网卡在Android系统上的完整适配。

Android/Linux驱动开发传帮带学习,让驱动入门门槛更低! 2023

手把手教你学基带SOC芯片(4.4.9)--基带芯片的电源管理实例:高通 Snapdragon 系列实例(十)

Snapdragon 888 通过支持多种深度睡眠模式,如 AOAC 模式、低功耗模式和深度睡眠模式,以及智能电源管理技术,实现了对功耗的精细管理。这些模式不仅延长了设备的电池寿命,还确保了用户在各种使用场景下的良好体验。无论是保持网络连接、限制后台活动,还是完全关闭不必要的功能,Snapdragon 888 都能够灵活应对,提供高效的功耗管理方案。

MHD0815的博客 741

2025年微信小程序获取手机号授权登录注册详细教程(含服务端)。不弹窗原因以及减少组件用量的方法

前端把获取到的code传给后端,后端获取access_token和前端传过来的code,请求服务器接口,即可获取到手机号。

coderYYY的博客 3万+

微信小程序 - 下单账号和支付账号不一致,请核实后再支付(微信小程序或微信H5页面/微信公众号网页支付时报错:“下单账号和支付账号不一致,请核实后再支付”,买家微信支付时提示错误)详细排查和解决方案!

微信支付出现 “下单账号与支付账号不一致,请核实后再支付”微信小程序下单账号与支付账号不一致不让支付,微信公众号网页 微信H5页面JS-SDK支付时出现错误:下单账号和支付账号不一致,请核实后再支付,openId导致的微信中“下单账号和支付账号不一致”原因及解决办法,调用统一下单所传openId与实际支付用户的openId不一致,微信支付jssdk报错,检查了没有不一致依然报错怎么办,微信支付下单账号和支付账号不一致,请核实后再支付,微信支付功能用JSAPI支付,H5页面负责下单并支付jsapi,微信调起支

🏆 前端领域优质创作者 5339

一文入门车载以太网:从原理到实战,看完就能上手开发

新手选型遵循“适配场景、兼顾成本、优先车规”的原则:普通场景(车载娱乐、普通诊断):100Base-T1 PHY(LAN8742)+ 非TSN交换机(SJA1105)+ STM32H743 ECU + 普通STP线缆;ADAS场景:1000Base-T1 PHY(TJA1101)+ TSN交换机(SJA1110)+ NXP S32G399 ECU + 高抗干扰STP线缆;避免过度选型:如普通娱乐场景无需选择TSN交换机、ASIL-B级芯片,否则会增加成本;

getusushu的博客 321

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

上一篇: 「秒杀购物商城业务服务」「分布式架构服务」盘点中间件服务
下一篇: Spring底层核心原理解析
Java佳佳
博客等级 码龄4年 216粉丝 286原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值