Kafka 系列 —（19）Kafka 架构知识图谱

最新推荐文章于 2025-12-20 22:51:39 发布
原创 最新推荐文章于 2025-12-20 22:51:39 发布 · 2.2k 阅读 · 43 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #架构 #linq

目录

1.Kafka 基础架构图

1.1 Clients

1.2 Kafka Cluster

1.3 Partition 角色

1.4 Controller（或 Zookeeper/KRaft）

2.Kafka 架构全景知识图谱

2.1 Kafka 全景结构

2.2 Kafka 架构基础

（1） Broker（节点）

（2） 控制层

（3）网络通信

2.3 存储与日志机制

（1） 文件结构

（2） 存储优化

（3） 数据保留策略

2.4 Producer 生产者架构

（1） 发送流程

（2） 可靠性

（3） 性能参数

2.5 Consumer 消费者架构

（1） 拉取模式（Pull）

（2） 消费者组（Consumer Group）

（3） Offset 提交

2.6 Kafka Streams（流处理）

（1） 抽象模型

（2） 流处理能力

（3） 状态管理

2.7 Kafka Connect（数据集成）

（1） Connect runtime

（2） Connector 类型

（3） 内部 Topic

2.8 跨集群镜像（多集群 Kafka）

（1） 多集群场景

（2） 工具

2.9 安全架构

（1） 认证

（2） 授权

（3） 加密

2.10 监控 & 运维体系

（1） Broker 监控

（2） 消费者监控

（3） Producer 监控

（4） 端到端监控

（5） 日志审计

2.11 管理工具与日常操作

Kafka 架构图，包括 Broker、Topic、Partition、Producer、Consumer、Zookeeper/KRaft 控制器 的核心结构。

1.Kafka 基础架构图

图说明:

1.1 Clients

  • Producer 发送消息 → Topic Partition Leader

  • Consumer 从 Partition Leader 拉取消息（或 Consumer Group 负载均衡）

1.2 Kafka Cluster

包含多个 Broker，每个 Broker 存储部分或全部 Topic Partition。

1.3 Partition 角色

  • Leader → 处理读写

  • Follower → 同步 Leader

1.4 Controller（或 Zookeeper/KRaft）

  • 管理元数据

  • Leader 选举

  • 维护 ISR（同步副本列表）

Kafka 2.8+ 可使用 KRaft 代替 Zookeeper。

2.Kafka 架构全景知识图谱

2.1 Kafka 全景结构

  • 分布式日志系统

  • 流数据平台三大核心能力 ① 消息队列（MQ） ② 存储（Log Storage） ③ 流式处理（Stream Processing）

2.2 Kafka 架构基础

（1） Broker（节点）

  • Topic（主题）

  • Partition（分区）

  • Replica（副本）

  • Leader / Follower

  • ISR（In-Sync Replica）

（2） 控制层

  • KRaft Controller（新架构）

    • Metadata Quorum

    • 自主选举 Leader

  • ZooKeeper（旧架构）

    • 元数据管理

    • 控制器选举

（3）网络通信

  • 基于 TCP 的二进制协议

  • Request/Response 模式

  • 数据压缩（Snappy、LZ4、ZSTD、GZIP）

2.3 存储与日志机制

（1） 文件结构

  • Log Segment

  • Index 文件

  • Time index

（2） 存储优化

  • Page Cache

  • Zero Copy（sendfile）

  • 顺序写

（3） 数据保留策略

  • 按时间（retention.ms）

  • 按大小（retention.bytes）

  • 按 compaction（Log Compaction）

2.4 Producer 生产者架构

（1） 发送流程

  • Record Accumulator

  • Batch 聚合

  • Partitioner

  • Sender Thread

  • TCP 连接池

（2） 可靠性

  • ACKs（0/1/all）

  • 重试机制（Retries）

  • 幂等性 Producer

  • Exactly-Once（EOI/Transaction）

（3） 性能参数

  • batch.size

  • linger.ms

  • compression.type

  • max.in.flight.requests.per.connection

2.5 Consumer 消费者架构

（1） 拉取模式（Pull）

  • Fetch 请求

  • 长轮询（Long Poll）

（2） 消费者组（Consumer Group）

  • GroupCoordinator

  • Rebalance 协议

    • Range

    • RoundRobin

    • StickyAssignor

最低0.47元/天 解锁文章
Kafka 系列 —（1）Kafka 介绍
moton2017的博客
11-24 179
《Kafka：分布式消息系统的核心特性与应用场景》 摘要：Apache Kafka是一个高吞吐、分布式的发布-订阅消息系统，兼具消息队列、分布式日志和流处理平台三重功能。其核心特点包括顺序写磁盘+零拷贝技术实现的高性能、通过分区机制实现的水平扩展能力，以及副本机制保障的高可用性。Kafka典型应用场景涵盖IoT设备数据流处理、系统间异步解耦、实时数据分析等七大领域，特别适合处理海量日志、指标等时序数据。作为LinkedIn为解决大规模数据处理问题而开发的开源项目，Kafka已成为现代大数据架构中实时数据传输
Java面试：阿里公开内部P7架构师（Java）成长路线图，满满的干货
如果频繁就私信一下呢
03-28 1154
首先说明一下今天的文章不是水文，是纯干货，同时拿P7Offer也是手下的一个人！今天我们就来看看阿里P7需要精通哪些技术！这里需要注意的是我用到的是精通二字！ PS：本篇的内容有点多，请大家耐心看完，文章后半段有小惊喜哈~ 首先是基础素质素养 计组原理深入、文件系统深入、网络IO模型、JVM模型深入、单机锁实现深入 高并发方案 网络通信原理、四层负载均衡、七层负载均衡、单机并发方案、集群并发方案 高可用方案 ZOOKEEPER、ETCD、KEEPALIVED、HAPROXY 高扩
JAVA高级工程师知识图谱_JAVA工程师知识图谱_java图谱_知识图谱_
10-03
JAVA工程师知识图谱，关于JAVA开发需要学习的知识点
Kafka 系列 —（14）Kafka 管理：分区管理 、 生产消费 、 ACL 、 不安全操作
moton2017的博客
12-01 717
本文系统介绍了Kafka集群管理的关键操作指南，主要内容包括：1）分区管理（Preferred Leader选举、副本重分配、RF调整、日志分析）；2）生产消费基础操作；3）ACL权限管理；4）高风险操作（控制器迁移、删除卡住主题等）。特别强调了副本重分配的三步流程和RF调整方法，并提供了常用命令速查表。文档详细说明了各命令的使用场景和风险提示，特别标注了生产环境需谨慎执行的操作，是Kafka运维的实用参考手册。
Kafka 系列 —（6）Kafka生产者 —— 向Kafka写入数据
moton2017的博客
11-26 868
本文详细介绍了Kafka生产者的核心功能与使用实践。主要内容包括：生产者创建（Java示例）、同步/异步发送、批量处理及配置优化；可靠性参数设置与性能调优建议；序列化器详解（StringSerializer、自定义序列化器及企业级推荐的Avro方案）；分区机制与自定义分区策略。文章重点讲解了生产环境推荐配置，如ack=all、幂等性等可靠性参数，以及batch.size等性能优化参数，并提供了完整代码示例，是Kafka生产者开发的实用指南。
Kafka 系列 —（28）Kafka + MQTT 网关架构（适合智能锁系统）
moton2017的博客
12-09 1095
摘要：本文提出了一种基于Kafka+MQTT Gateway的智能锁系统架构方案。该架构通过MQTT Broker实现海量设备连接，利用MQTT-Kafka Gateway进行协议转换，将设备数据接入Kafka集群实现高效处理。系统实现了设备状态上报、远程指令下发、告警处理等功能，支持多消费者订阅和跨系统数据分发。架构采用Protobuf消息格式，具备高可靠性设计，包括Kafka ACK=all、多副本机制等。该方案充分发挥了MQTT在设备连接和Kafka在流处理方面的优势，为智能锁系统提供了高可用、可扩展
Kafka的核心架构
苦哈哈的 C++ 程序员，写这个技术博客不是为了装逼，也不是为了立人设，是为了收割流量
08-02 583
🌩️ ZooKeeper (协调管理)│▼🏢 Kafka集群。
架构师（Java）必备知识图谱
Admans的专栏
07-14 719
计组原理深入、文件系统深入、网络IO模型、JVM模型深入、单机锁实现深入。
Kafka 系列 —（39）IoT Kafka 生产者/消费者 Java 代码模板
moton2017的博客
12-16 882
本文介绍了基于Kafka的IoT智能锁事件处理系统架构。主要内容包括：1)使用Maven管理Kafka客户端和JSON工具依赖；2)定义标准IoT事件模型；3)实现Kafka生产者模板，支持同步/异步发送和设备ID分区路由；4)构建消费者模板，采用轮询模型处理事件；5)提供消费者组再均衡监听器避免重复处理；6)实现事务机制确保开锁事件的高一致性。系统通过设备ID分区保证事件顺序，支持日志审计、告警等业务场景，完整代码示例展示了智能锁事件的发送和消费流程。
十三、Kafka基础环境实战
pale_moonlight的博客
12-16 938
（启动Hadoop：start-all.sh 启动Hadoop：zkServer.sh start）此次实验有些许复杂，需要细心操作。复制一个会话（第三个）
分布式消息队列kafka【五】—— kafka海量日志收集实战
qq_46601365的博客
12-16 893
摘要 本文介绍了基于Kafka的海量日志收集实战方案，采用ELK技术栈架构（Filebeat+Kafka+Logstash+ES+Kibana）。重点分析了为何选用Kafka作为缓冲层缓解ES压力，以及Log4j2相比Logback的性能优势（18倍提升）。详细阐述了日志分级策略（app.log/error.log分离）、MDC线程变量等日志处理技术，并深入解析Filebeat轻量级采集原理及其与Logstash的协作关系。该架构通过多组件协同工作，实现了高性能、低延迟的海量日志收集、处理和分析全流程。
Kafka详解
sk13587280072的博客
12-17 821
3.1 Kafka定义Kafka是一个分布式的基于发布/订阅模式的消息队列（MQ，Message Queue），主要应用于大数据实时处理领域。3.2 Kafka简介Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于Zookeeper协调的分布式消息中间件系统。
kafka--基础知识点--19--消息重复
最新发布
Chasing__Dreams的博客
12-20 122
acks = 1 或 -1，当消息已经写入leader或ISR中的folloer后，brocker给生产者发送确认响应后发送网络抖动或leader崩溃又崩溃重启，生产者发现没有确认响应再次发送，导致消息brocker中出现了两条重复的消息，重复发送导致。解决: 精确一次发送方案 = (acks=-1) + 事务 + 重试。
分布式消息队列kafka【四】—— 消费者进阶提升
qq_46601365的博客
12-15 907
本文介绍了Kafka消费者与消费者组的概念及其应用。Kafka消费者组采用一对多关系，一个消费者组可包含多个消费者，每个分区只能被组内一个消费者消费。文章阐述了Kafka如何同时支持点对点（P2P）和发布/订阅（Pub/Sub）两种消息投递模式：当消费者同属一组时为P2P模式（消息均衡分配）；当消费者分属不同组时为Pub/Sub模式（消息广播）。通过Java代码示例展示了生产者发送消息和两种消费模式的实现，其中P2P模式消费者通过订阅主题实现消息独占消费。文中还通过图示说明了消费者动态增减时分区重新分配的过
分布式消息队列kafka【二】—— 基础概念介绍和快速入门
qq_46601365的博客
12-15 1156
本文介绍了分布式消息队列Kafka的核心概念与应用场景。Kafka作为高吞吐量的消息系统，其高性能源于顺序写、PageCache缓存和零拷贝技术。文章详细解析了Kafka的集群架构、Topic与Partition关系，以及通过分区实现消息有序性的机制。在应用层面，Kafka可有效实现异步处理、服务解耦、削峰填谷、海量日志收集、数据同步和实时计算等功能。特别强调了Kafka在日志收集和数据同步场景中的优势，同时指出其权衡可靠性与性能的特点。最后，文章通过架构图直观展示了Kafka的核心组件和消息流转过程。
Kafka副本管理核心：ReplicaManager揭秘
m0_37607945的博客
12-15 1083
Apache Kafka Broker 端核心组件 它是 Kafka 实现 副本管理、ISR（In-Sync Replicas）维护、Leader/Follower 同步、日志存储协调 的中枢。下面我将从 整体定位、关键字段、核心机制、工作流程 四个维度，帮你系统性理解这段代码的含义和设计思想。每个 Kafka Broker 启动时都会创建一个 实例，它： ：本 Broker 所有托管分区的容器。 是一个密封类（sealed trait），有三种状态： ：正常在线 ：所在日志目录故障，分区不可用 ：
Kafka副本管理核心机制解析
m0_37607945的博客
12-15 977
功能说明Leader 管理识别本机 Leader 分区，提供 LEO/HW持久化定期 checkpoint 高水位容错处理磁盘故障，自动下线分区指标暴露副本健康状态关闭优雅 shutdown，保证一致性扩展性可插拔的 fetcher / selector协议支持支持 LeaderEpoch 查询、Leader 选举如果你是在阅读 Kafka 源码、调试副本问题、或开发自定义存储层，理解这些方法非常关键。需要更深入某一部分（比如或），可以继续提问！
Kafka核心揭秘：ReplicaManager如何保障高可用
m0_37607945的博客
12-15 678
是 Kafka Broker 的“副本大脑”它既是数据管道的枢纽（协调读写与复制），也是一致性协议的执行者（维护 HW/LEO/ISR），更是故障自愈的守门人（处理磁盘失效、触发重平衡）。其设计体现了 Kafka 对高性能、强一致性、高可用的综合权衡，是理解 Kafka 内部机制的关键入口。
Kafka元数据缓存机制深度解析
m0_37607945的博客
12-16 660
是 Kafka Broker 的元数据中心枢纽高性能：读无锁、Copy-on-Write、避免分配一致性：快照语义，避免脏读灵活性：支持多 Listener、动态更新、部分更新健壮性：处理 Broker 下线、Listener 缺失、分区删除等边界情况理解它，就理解了 Kafka如何在分布式环境下高效同步和使用集群拓扑信息。如果你有具体问题（比如某段逻辑、某个字段用途、或如何调试），可以继续问！
Apache Kafka架构详解与面试必备知识点
以下是关于Kafka面试题的一些关键知识点： 1. **架构与组件**： - **Producer**：消息生产者负责将数据发布到Kafka主题（Topic），Producer可以选择不同级别的消息确认机制（ACK）以处理数据可靠性。ACK=0表示非...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

34号树洞

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值