kafka服务端架构总览

Kafka服务端架构与计算IO分离解析
原创 于 2025-08-31 10:08:34 发布 · 1k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #架构

Kafka系列文章

基于Kafka2.1解读Producer原理
基于Kafka2.1解读Consumer原理
Kafka服务端NIO操作原理解析（一）
Kafka服务端NIO操作原理解析（二）

文章目录

前言

kafka服务端，咱们前两篇文章都是围绕kafka的IO进行分析的，读者很难有全貌的理解，也就是整个服务端有哪些功能，以及这些功能之间是如何协作。

一、kafka服务端的架构

1.1 基本概念介绍

其实任何一个系统，总结起来无非都是『计算』+『IO』。只不过针对咱们的平时的业务系统，“计算”比较多，也就是主要是业务逻辑；IO一般涉及到的是RPC服务框架的调用，当然不管是调用其他业务服务、中间件、数据源其实都是RPC，只不过可能是不同的“网络模型+自定义协议”。

1.2 kafka的特性

kafka作为一个开源的MQ框架，当然也是『计算』+『IO』，但是最为人称道的其实就是他的“IO”模型：网络IO+文件IO。
不过kafka还有个厉害的地方，他使用了计算和IO分离的模式。想想咱们自己的业务系统，是不是会写一段IO，写一段业务逻辑，来回穿插？而再回顾下Kafka服务端NIO操作原理解析（一）和
Kafka服务端NIO操作原理解析（二），想想kafka服务端是怎么做的？几乎这两段全是数据的IO逻辑，也就是读取request，写入response的过程。根本不依赖于所谓的逻辑计算，也就是咱们kafka对producer和consumer的请求逻辑实际处理逻辑。
其实想想producer是不是也是这么干的？accumulator不停把数据组装成batches，Sender线程不停遍历batches，然后进行消息发送。producer通过b

最低0.47元/天 解锁文章
liangsheng_g
关注
【企业架构设计实战】技术架构设计指南
AI天才研究院
02-08 1万+
提到非功能性，技术架构可能涉及多个方面，如稳定性、可扩展性、一致性、可移植性、兼容性、可配置性、可降级性、可部署性、可发现性、故障透明性、容错性、可检验性、可安装性、完整性、可维护性、可管理性、模块性、可操作性、可恢复性、可靠性、重现性、弹性、可复用性、稳健性、安全性、可服务性、合规性、可持续性、可测试性、可追溯性等。很多企业在发展初期，在技术方面的投入并不大，主要以外采系统为主，包括CRM、MES、ERP、HR、PLM、SCM等系统，各个系统各自独立，各自有单独的数据库及权限管理。
干货！AI应用架构师分享虚拟购物架构设计
最新发布
AI天才研究院
08-02 1150
虚拟购物是指通过数字技术构建虚拟场景，让用户以数字化身（Avatar）或第一视角进行商品浏览、交互、试用、购买的体验。三维化：商品与场景以3D模型呈现，支持360°旋转、缩放；交互性：用户可通过手势、语音、眼神等方式与虚拟环境互动；沉浸感：通过AR/VR技术模糊虚拟与现实边界（如AR试妆将虚拟妆容叠加在用户面部）；个性化：AI根据用户行为动态调整场景、推荐商品、生成虚拟导购。需注意与“3D展示”“AR工具”的区别：虚拟购物是完整的电商闭环。
Kafka服务端
guoqing2017的博客
03-31 1748
Kafka服务端源码之网络 网络传输关键类及流程图： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-x3swD7s0-1617173249475)(./服务端设计.png)] 上图可以看出有如下几个关键线程和关键类: Acceptor线程：接受并配置新连接的线程。 每个端点中有一个。 **Processor线程：**处理来自单个连接的所有请求的线程。 其中有N个并行运行，每个都有自己的选择器 **RequestChannel类：**处理请求，并将请求缓存在该类的reque
kafka专题笔记 - 服务端
qq_39679639的博客
11-05 1123
kafka协议 在服务端的介绍中，首先了解下kafka协议。掌握协议不会对日常使用有太大的帮助，但是做到心中有数可以帮助我更好的理解kafka整体的运行策略。 kafka中包含众多协议类型，每种类型的协议都包含请求协议Request和响应协议Response，且所有的请求协议都包相同的协议请求头RequestHeader和不同结果的协议请求体RequestBody，同理，响应协议亦是如此。下面以消息发送协议对和消息拉取协议对为例，说明kafka协议的具体实现 消息发送 ProducerRequest 所有请
消息队列-kafka-服务端处理架构（架构，Topic文件结构，服务端数据的一致性）
qq_43259860的博客
03-05 1189
2 活过来的时候，发现已经有顶替的 leader 角色（主分片）了，那么就跟随，也就是向 leader 获取 HW 高水位线，与自己的 LEO 比对，大于 LEO 则删除，小于 LEO 则从 leader 这边复制数据过去。1 首先它会从ISR中剔除，当恢复正常的时候，会向主分片获取 HW 高水位线，与自己的 LEO 比对，如果自己的 LEO 超过 HW 则干掉超过的部分，小于的话就从主分片复制数据过来。HW：高水位，消费者消费最高的位置，其实也就是木桶原理，所以只能到下面图中的第四条消息。
kafka服务端
zhangshenglu1的博客
04-08 661
kafka集群中会有一个或者多个broker，其中只有一个broker会被选为控制器（kafka controller），其负责管理整个集群中所有分区和副本的状态。当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。当检测到某个分区的ISR集合发生变化，控制器将通知所有的broker更新其元数据信息。 ​ 控制器的选择时通过向zookeeper中写入临时节点/co...
AnyShare Family 7 开放架构总览
weixin_58029845的博客
09-30 2110
介绍AnyShare Family 7整体的开放性架构，讲解了从业务系统集成、客户端插件、服务端扩展性这块的开放能力。
大数据技术栈速览之：Kafka
12-12 470
https://blog.youkuaiyun.com/lingbo229/article/details/80761778 Kafka的特性: - 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可...
Kafka-服务端-KafkaController
andy的博客
01-23 1365
为了实现Controller的高可用，一个Broker被选为Leader之后，其他的Broker都会成为Follower(不加特殊说明的情况下，本文的“Leader/Follower”指的都是KafkaController的Leader/Follower,请不要与副本机制中的Leader副本和Follower副本混淆),会从剩下的Follower中选出新的Controller Leader来管理集群。当使用kafka-topics脚本增加某Topic的分区数量时，由Controller管理分区的重新分配；
kafka服务端压缩包
11-21
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
Kafka服务端设计思想
ZHBR_F1的博客
06-19 649
前言本文简单介绍了Apache Kafka服务端的一些设计，因为没有详细的介绍一些基础概念和适合有对Kafka有一定了解的同学们阅读。如果想深入了解Kafka，推荐阅读Kafka官方文档和源代码。Kafka被设计出来的目标是做为海量实时数据传输的分布式数据流平台，主要用来传输和聚合日志数据、追踪网站活动、传输监控数据和作为消息队列等
06-Kafka服务端
my_momo_csdn的博客
07-25 887
文章目录Kafka服务端一、协议设计二、时间轮2.1 引入2.2 数据结构2.3 原理详解三、延时操作四、控制器4.1 控制器选举和异常恢复4.1.1 /controller4.1.2 /controller_epoch4.1.3 控制器职责4.2 关闭4.3 分区leader选举五、参数5.1 broker.id5.2 bootstrap.server六、参考 Kafka服务端 本文内容关于...
深入Kafka服务端
通往神秘的道路的专栏
11-17 568
本章涉及协议设计、时间轮、延迟操作、控制器及参数解密,尤其是协议设计和控制器的介绍,这些是深入了解Kafka的必备知识点。 1、协议设计 在实际应用中, Kafka经常被用作高性能、可扩展的消息中间件。 Kafka自定义了一组基于TCP的二进制协议,只要遵守这组协议的格式,就可以向 Kafka发送消息,也可以从Kafka中拉取消息,或者做一些其他的事情,比如提交消费位移等。 在目前的Kafk...
Kafka笔记|01-Kafka 服务端安装和配置！
Java 小先
03-28 1298
本小节主要为安装和运行 Kafka，并使用自带的命令行工具使用 Kafka 最核心的功能–消息的发送和消费。作为 Kafka 笔记的“Hello World”。
kafka基础篇(一)——kafka服务端原理及工作机制详解
敲代码的小小酥的博客
05-07 2537
前言 kafka作为一个MQ，我们将kafka分为服务端和客户端来讲解。服务端指kafka服务，即接收并存储消息的服务。客户端指我们在自己项目里调用kafka提供的JAVA API实现消息生产者和消费者的功能。本文我们介绍kafka服务端的工作机制和原理，只有了解和熟悉了kafka服务端的原理，才可以更好的在客户端实现生产者和消费者的功能。 一、消息主题与分区的概念 主题: 在MQ中，主题的概念我们并不陌生。主题是对消息的分类，它类似于数据库中表的概念。 (甜点:主题的创建方式–两种:服务端创建和生产者创
windows安装kafka服务端
奔波儿东
11-16 325
windows kafka安装
(Kafka源码五)Kafka服务端处理消息
weixin_42828342的博客
10-01 2490
Kafka 服务端（Broker）采用 Reactor 的架构思想，通过1 个 Acceptor，N 个 Processor(N默认为3)，M 个 KafkaRequestHandler（M默认为8），来处理客户端请求，这种模式结合了多线程和事件驱动的设计，优点是能够有效地利用系统资源，可以实现高效地处理请求，无需为每个连接或请求创建新的线程，减少了线程上下文切换的开销，以实现高并发和高吞吐量。
kafka服务端 arm
12-01
要配置Apache Kafka 服务器以在ARM架构上运行，特别是在使用Docker时，你可以按照以下步骤操作： 1. **设置基础配置**[^1]: - 配置`broker.id`为服务器的唯一标识（如 `broker.id=3`）。 - 设置`zookeeper.connect`，连接到ZooKeeper集群，这里使用的是IP地址和端口（如`zookeeper.connect=192.168.44.128:2181,192.168.44.129:2181,192.168.44.130:2181`）。 - 定义`advertised.listeners`，指定对外公开的监听端口（如`advertised.listeners=PLAINTEXT://192.168.44.130:9092`）。 - 指定日志目录（如`log.dirs=/data/kafka/kafka-logs`）。 2. **启动Kafka容器**[^2]，如果使用Docker-Compose，可以创建一个新的`docker-compose.yml`文件，定义Kafka服务和依赖项，可能类似于这样： ```yaml version: '3' services: kafka: image: confluentinc/cp-kafka:latest environment: KAFKA_BROKER_ID: 3 KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://localhost:9092 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 volumes: - ./kafka-data:/var/lib/kafka/data ``` 确保替换`image`为所需的Kafka版本（如`confluentinc/cp-kafka:latest`），并使用本地主机名或实际IP替换`localhost`。 3. **启动服务**: - 使用`docker-compose up -d`命令启动Kafka服务（`-d`表示后台运行）。 4. **验证服务状态**: - 可以通过`netstat -tna | grep -e 9092 -e 2181`来检查Kafka和ZooKeeper的端口是否正在监听。 请注意，如果你使用的是新版本的Kafka（3.3及以上），可能会跳过ZooKeeper的部署，因为KRaft取代了部分功能。然而，在生产环境中，通常还是推荐保留ZooKeeper。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值