Kafka4.0集群部署

原创已于 2025-07-10 16:43:53 修改 · 1.6k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#kafka

于 2025-07-08 16:57:44 首次发布

中间件专栏收录该内容

6 篇文章

订阅专栏

PS：单机部署，采用了docker部署和直接部署两种方式，请跳转这里
本篇为集群部署，全部采用docker方式

1. 集群节点

集群部署3台服务器，每个节点都同事作为controller和broker，如果服务器充足，可以将controller和broker分开

主机名	IP地址	角色	操作系统
kafka01	192.168.5.31	controller/broker	Ubuntu-24
kafka02	192.168.5.32	controller/broker	Ubuntu-24
kafka03	192.168.5.33	controller/broker	Ubuntu-24

2. 配置服务器

2.1 配置主机名

sudo hostnamectl set-hostname kafka01

# 查看是否设置成功
hostname

2.2 配置IP地址

# 查看当前的网卡名称
ip a

# 先进入/etc/netplan
cd /etc/netplan

# 查看文件夹下面的yaml的名称
ll

# 打开下面的yaml文件(文件名称以上面看到的为准)
sudo vim 具体文件名称.yaml

#根据下面的内容进行配置

# 配置生效
sudo netplan apply

# 验证网卡IP是否设置正确
ip route show default # 如果没有任何返回，则说明网卡IP不正确，需要找到正确的网卡IP进行修改

# 验证是否修改成功
ip a

yaml具体配置如下:

network:
  version: 2
  renderer: networkd
  ethernets:
    ens33:  # 替换为你的网卡名称
      dhcp4: no
      addresses: [192.168.5.31/24]  # IP和子网掩码
      routes:
        - to: default            # 等效于 0.0.0.0/0
          via: 192.168.1.1       # 网关地址
      nameservers:
        addresses: [8.8.8.8, 8.8.4.4]  # DNS服务器

注意：网关地址和DNS服务器要配置正确

2.3 配置hosts解析

sudo vim /etc/hosts

# 输入下面内容
192.168.5.31 kafka01
192.168.5.32 kafka02
192.168.5.33 kafka03

2.4 其他服务器重复上面的操作

如果是虚拟机，那么可以设置一台之后，克隆即可，克隆后，需要修改主机名和ip地址（注：也可以等下面JDK安装往之后再克隆）

3. 安装JDK17

sudo apt-get install openjdk-17-jdk
#验证是否成功
java -version
# 返回版本号，就是成功，openjdk version "17.0.15" 2025-04-15

3.1 添加JAVA_HOME环境变量

#查看jdk安装目录
sudo update-alternatives --config java
#编辑环境
sudo vim /etc/environment
#添加JAVA_HOME
JAVA_HOME="/usr/lib/jvm/java-17-openjdk-amd64"
#生效配置
source /etc/environment
#检查 JAVA_HOME
echo $JAVA_HOME  # 应返回配置的路径

4. Docker安装

后面我们使用docker来安装kafka
具体安装步骤，请看Ubuntu-24安装Docker

5. 安装Kafka

官方文档：https://kafka.apache.org/documentation/#gettingStarted

5.1 创建目录

sudo mkdir -p /db/kafka # 为了放置kafka的一些文件

5.2 添加docker-compose.yml

cd /db/kafka

#新建目录，放kafka数据挂载并递归修改目录所有者（Kafka容器默认使用用户 UID 1001）
sudo mkdir kafka_data && sudo chown -R 1001:1001 ./kafka_data

# 生成集群Id（记住结果，后面docker-compose.yml用到），此命令只在集群第一个节点生成一次
echo $(docker run --rm bitnami/kafka:4.0.0 kafka-storage.sh random-uuid)

# 添加yml并将下面内容拷贝进去
sudo vim docker-compose.yml

内容如下：

services:
  kafka:
    image: bitnami/kafka:4.0.0  # 官方镜像
    container_name: kafka
    ports:
      - "9092:9092"            # 客户端通信端口
      - "9093:9093"            # 控制器端口（KRaft 模式必需）
    environment:
      - KAFKA_CLUSTER_ID=xXiglO5pQmWIfkSOWwb7Fg # 上面执行的结果
      - KAFKA_CFG_NODE_ID=1    # 节点 ID
      - KAFKA_CFG_PROCESS_ROLES=broker,controller  # 节点角色
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka01:9093,2@kafka02:9093,3@kafka03:9093  # 控制器投票列表，静态仲裁（目前镜像还会检测这个配置，所以还需要有，但是正式选举已经不使用）
      - KAFKA_CFG_CONTROLLER_QUORUM_BOOTSTRAP_SERVERS=kafka01:9093,kafka02:9093,kafka03:9093  # 控制器投票列表，动态仲裁（kafka4.0默认采用动态仲裁，这个才是正在选举的配置项）
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka01:9092,CONTROLLER://kafka01:9093  # 按需替换 IP
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false   # 不允许自动创建 Topic
      - ALLOW_PLAINTEXT_LISTENER=yes               # 允许明文传输
    volumes:
      - ./kafka_data:/bitnami/kafka     # 持久化数据卷（避免绑定挂载冲突）

5.2.1 environment 环境变量

注意：environment是进行环境配置，会动态覆盖server.properties中的参数，并不会修改容器内kafka的server.properties的文件，

容器内安装目录
- /opt//bitnami/kafka/
- /opt//bitnami/kafka/config
  镜像默认配置
动态数据目录
- /bitnami/kafka
- /bitnami/kafka/config
  用户自定义配置的入口，挂载后覆盖默认配置

如果要修改server.properties，可以在 /bitnami/kafka/config下创建server.properties
加载优先级是：environment > 挂载的文件配置 > 镜像默认配置

5.2.2 server.properties

如果想查看kafka的配置，则执行

docker exec -it kafka cat /opt/bitnami/kafka/config/server.properties

server.properties 具体信息如下
请跳转这里查看

5.2.3 静态仲裁VS动态仲裁

执行以下命令

docker exec -it kafka /opt/bitnami/kafka/bin/kafka-features.sh --bootstrap-controller localhost:9093 describe

若 kraft.version FinalizedVersionLevel: 0，则为静态仲裁。
若 kraft.version FinalizedVersionLevel: 1，则为动态仲裁。

想要删除数据和容器，重新部署的话，可以执行以下命令

cd /db/kafka
docker compose down --volumes  # 注意：--volumes 会删除数据，如有需要，需提前备份！

# 删除挂载的宿主机kafka_data文件夹
sudo rm -rf kafka_data/

后面重复5.2的命令即可

5.3 其他服务器配置

kafka02

- KAFKA_CFG_NODE_ID=2
- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka02:9092,CONTROLLER://kafka02:9093

kafka03

- KAFKA_CFG_NODE_ID=3
- KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka03:9092,CONTROLLER://kafka03:9093

5.4 启动容器

分别执行以下命令，启动3台服务

sudo docker compose up -d      # 后台运行

5.5 验证服务状态

sudo docker compose ps         # 检查容器状态
docker compose logs -f kafka        # 查看日志（无报错即启动成功）

# 查看集群ID
docker exec -it kafka /opt/bitnami/kafka/bin/kafka-cluster.sh cluster-id --bootstrap-server kafka01:9092

5.6 外部连接kafka失败

# 验证9092端口有没有开启
sudo netstat -tulnp | grep 9092

# 如果发现端口已经开启了，且容器运行正常，则可能是防火墙没有运行9092端口
# 检查防火墙状态，如果是active则表示打开的，看一下下面有没有9092端口
sudo ufw status
# 如果没有9092端口，则需要开通9092端口
sudo ufw allow 9092/tcp

5.7 查看当前 Controllers 状态

docker exec -it kafka /opt/bitnami/kafka/bin/kafka-metadata-quorum.sh --bootstrap-server kafka01:9092 describe --status

返回内容

ClusterId:              xXiglO5pQmWIfkSOWwb7Fg
LeaderId:               2
LeaderEpoch:            6
HighWatermark:          349734
MaxFollowerLag:         0
MaxFollowerLagTimeMs:   4
CurrentVoters:          [{"id": 1, "directoryId": null, "endpoints": ["CONTROLLER://kafka01:9093"]}, {"id": 2, "directoryId": null, "endpoints": ["CONTROLLER://kafka02:9093"]}, {"id": 3, "directoryId": null, "endpoints": ["CONTROLLER://kafka03:9093"]}]
CurrentObservers:       []