死牛胖子的技术随笔

Kafka 节点加入集群会进行以下两个操作 注册 brokers，创建临时节点 /brokers/ids/{broker.id} 注册 controller，创建临时节点 /controller 第一步，通常会成功，如果失败，就说明 Kafka 集群中有两个节点的 broker.id 设置冲突了，修改 server.properties 配置文件中的 broker.id 配置。 第二步，将当前节点注册为集群的控制器，/controller 节点是一个临时节点，如果该节点不存在，则创建成功，如果该节点已存

Kafka 的数据分为两部分：元数据、消息数据。 元数据：元数据包括集群信息、节点信息、队列信息、主从信息、分区信息、分区分布信息等，这类信息都存储在 Zookeeper 上，Kafka 的任何一个节点都可以读取元数据信息。 消息数据：生产者向集群发送的消息。生产者直接向分区的 Leader 发送消息，Leader 会同步至 Flowers 节点，分区的 Leader 及 Flowers 节点都存储了一份消息数据。 元数据结构clustercontrollercontroller_epochbroke

目录简述诞生优势使用场景CAP消息队列Kafka 相关概念Kafka 架构体系Partition 架构体系Replica 架构体系Consumer Group 架构体系参考 简述 Kafka 是由 Apache 软件基金会开发的一个开源的分布式流处理平台，由 Scala 和 Java 编写。 主要分为两部分功能： 发布订阅模式的消息队列：构造实时流数据管道，可以在系统或应用之间可靠地获取数据，一般用于系统间解耦、异步通信、削峰填谷等用途。 Kafka Stream 实时在线流处理：构建实时流式应用程序，对