Kafka 基础教程 — 两种集群搭建详解

 作者简介：大家好，我是码炫码哥，前中兴通讯、美团架构师，现任某互联网公司CTO，兼职码炫课堂主讲源码系列专题

代表作：《jdk源码&多线程&高并发》，《深入tomcat源码解析》，《深入netty源码解析》，《深入dubbo源码解析》，《深入springboot源码解析》，《深入spring源码解析》，《深入redis源码解析》等

联系qq：184480602，加我进群，大家一起学习，一起进步，一起对抗互联网寒冬。码炫课堂的个人空间-码炫码哥个人主页-面试，源码等

释放21集全网最深ConcurrentHashMap的vip视频，复现每一行源码

1、简介

Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。

Kafka目前支持使用Zookeeper模式搭建集群以及KRaft模式（即无Zookeeper）模式这两种模式搭建集群，这两种模式各有各的好处，今天就来分别介绍一下这两种方式

1.1、Kafka集群中的节点类型

一个Kafka集群是由下列几种类型的节点构成的，它们充当着不同的作用：

• Broker节点：即代理节点，是Kafka中的工作节点，充当消息队列的角色，负责储存和处理消息，每个Broker都是一个独立的Kafka服务器，可以在不同的机器上运行，除此之外Broker还负责分区（partition）的管理，将主题（topic）划分为多个分区，并分布在集群的不同Broker上
• Controller节点：即控制器节点，是集群中的特殊节点，负责储存和管理整个集群元数据和状态，它能够监控整个集群中的Broker，在需要时还能够进行平衡操作
• 混合节点：即同时担任Broker和Controller节点角色的节点

1.2、两重模式的搭建方式

• Zookeeper模式集群
• KRaft模式集群

2、Zookeeper模式集群

这是一种比较简单，相对“传统”的搭建方式了！在这种模式下，每个Kafka节点都是依赖于Zookeeper的，使用Zookeeper存储集群中所有节点的元数据。

只要所有的Kafka节点连接到同一个Zookeeper上面（或者同一个Zookeeper集群），这些Kafka节点就构成了一个集群。所以说就算是只有一个Kafka节点在运行，这一个节点也可以称作一个集群。

在Zookeeper模式集群中，Zookeeper节点（或者集群）就充当了Controller的角色，而所有的Kafka节点就充当着Broker的角色。

下面就来介绍一下搭建过程，这里在1台主机上分别运行Zookeeper和Kafka来模拟一个集群，一共一个Zookeeper节点和三个Kafka节点构成，如下：

节点名	地址和端口
Zookeeper节点	localhost:2181
Kafka节点1	localhost:9092
Kafka节点1	localhost:9093
Kafka节点1	localhost:9094

1、搭建Zookeeper

首先我们要运行起一个Zookeeper节点，这里就不再赘述Zookeeper节点如何搭建了，搭建可以查看官方文档，或者使用Docker的方式搭建。

搭建完成并运行Zookeeper之后，我们会把所有的Kafka节点都配置到这一个Zookeeper节点上。

2、配置并运行所有Kafka节点

修改每台虚拟机的Kafka目录中的配置文件，配置文件位于解压的Kafka文件夹中的config/server.properties，对应的三个配置文件如下：

server1.properties

    # 每个节点的id，不要不相同的整数
    broker.id=1
    # 存储位置
    log.dirs=/tmp/kafka-logs/cluster/log1
    # zookeeper集群的话，多个地址用逗号分割
    zookeeper.connect=localhost:2181
    # zookeeper连接超时时间
    zookeeper.connection.timeout.ms=18000
    # 外网暴露
    advertised.listeners=PLAINTEXT://localhost:9092
    # 内网端口
    listeners=PLAINTEXT://localhost:9092

server2.properties

    # 每个节点的id，不要不相同的整数
    broker.id=2
    # 存储位置
    log.dirs=/tmp/kafka-logs/cluster/log2
    # zookeeper集群的话，多个地址用逗号分割
    zookeeper.connect=localhost:2181
    # zookeeper连接超时时间
    zookeeper.connection.timeout.ms=18000
    # 外网暴露
    advertised.listeners=PLAINTEXT://localhost:9093
    # 内网端口
    listeners=PLAINTEXT://localhost:9093