Kafka运维实战 06 - kafka 单机部署指南(混合模式)(KRaft 版本3.7.0)

锅锅来了

已于 2025-07-25 17:22:28 修改

阅读量774

点赞数 18

CC 4.0 BY-SA版权

分类专栏： # Kafka运维实战文章标签： kafka 分布式网络 kraft

于 2025-07-18 12:36:15 首次发布

本文链接：https://blog.youkuaiyun.com/cui_win/article/details/149439522

Kafka运维实战专栏收录该内容

15 篇文章

订阅专栏

环境准备

主机：Centos7
IP: 192.168.37.10

JDK安装

下载jdk

https://www.oracle.com/java/technologies/downloads/?er=221886#java21

jdk安装

tar xvf jdk-21_linux-x64_bin.tar.gz -C /usr/local/

设置环境变量（以 Linux/macOS 为例)
vim /etc/profile

export JAVA_HOME=/usr/local/jdk-21.0.8
export PATH=$JAVA_HOME/bin:$PATH

刷新环境变量

source /etc/profile

验证安装

[root@test-10 bin]# java --version
java 21.0.8 2025-07-15 LTS
Java(TM) SE Runtime Environment (build 21.0.8+12-LTS-250)
Java HotSpot(TM) 64-Bit Server VM (build 21.0.8+12-LTS-250, mixed mode, sharing)

kafka 部署

kafka 下载

地址：https://archive.apache.org/dist/kafka/
在这里插入图片描述
这里展示了历史的kafka各个版本。

本次我们下载 kafka_2.13-3.7.0.tgz 这个版本
https://archive.apache.org/dist/kafka/3.7.0/kafka_2.13-3.7.0.tgz

kafka 版本号结构解析

kafka_<SCALA_VERSION>-<KAFKA_VERSION>.tgz

Kafka 是用 Scala 和 Java 开发的，因此需要特定版本的 Scala 编译。版本号中的 2.13 表示该 Kafka 版本是用 Scala 2.13.x 编译的
3.7.0 是 Kafka 自身的版本号，采用 MAJOR.MINOR.PATCH 格式

kafka 安装

下载和解压安装包

mkdir -p /data/middleware
tar xvf kafka_2.13-3.7.0.tgz -C /data/middleware/

配置 KRaft 模式

编辑 config/kraft/server.properties 文件：

# 配置监听地址
log.dirs=/data/middleware/kafka_2.13-3.7.0/data
controller.quorum.voters=1@192.168.37.10:9093
advertised.listeners=PLAINTEXT://192.168.37.10:9092

格式化存储目录

Kafka KRaft 模式需要生成一个集群 ID 并配置相关参数：

[root@test-10 kafka_2.13-3.7.0]# ./bin/kafka-storage.sh random-uuid
BJODTrqBTbCBnwSG2VszJg

将生成的 UUID 记录下来, 使用生成的集群 ID 格式化存储目录：
./bin/kafka-storage.sh format -t <YOUR_CLUSTER_ID> -c config/kraft/server.properties

[root@test-10 kafka_2.13-3.7.0]# ./bin/kafka-storage.sh format -t  BJODTrqBTbCBnwSG2VszJg  -c config/kraft/server.properties
metaPropertiesEnsemble=MetaPropertiesEnsemble(metadataLogDir=Optional.empty, dirs={/data/middleware/kafka_2.13-3.7.0/data: EMPTY})
Formatting /data/middleware/kafka_2.13-3.7.0/data with metadata.version 3.7-IV4.

# 执行后，data目录自动创建，并生成了两个文件。
[root@test-10 kafka_2.13-3.7.0]# ls data/
bootstrap.checkpoint  meta.properties
[root@test-10 kafka_2.13-3.7.0]# cat data/meta.properties 
#
#Fri Jul 18 11:25:00 CST 2025
cluster.id=BJODTrqBTbCBnwSG2VszJg
directory.id=YE6-pLr4UPcqstWaKaZJFw
node.id=1
version=1

启动kafka

前台启动（方便调试）

./bin/kafka-server-start.sh config/kraft/server.properties

后台启动

./bin/kafka-server-start.sh -daemon config/kraft/server.properties

Kafka 配置为 systemd 服务

[root@test-10 logs]# systemctl cat kafka 
# /etc/systemd/system/kafka.service
[Unit]
Description=Apache Kafka Server (KRaft Mode)
Documentation=https://kafka.apache.org/documentation/
Requires=network.target
After=network.target

[Service]
Type=forking
Environment="JAVA_HOME=/usr/local/jdk-21.0.8" 
ExecStart=/data/middleware/kafka_2.13-3.7.0/bin/kafka-server-start.sh -daemon  /data/middleware/kafka_2.13-3.7.0/config/kraft/server.properties
ExecStop=/data/middleware/kafka_2.13-3.7.0/bin/kafka-server-stop.sh
Restart=on-failure
RestartSec=5
LimitNOFILE=100000

[Install]
WantedBy=multi-user.target

重新加载 systemd 并启动服务

sudo systemctl daemon-reload
sudo systemctl start kafka
sudo systemctl enable kafka  # 设置开机自启

注意事项

调整 JVM 内存参数

可以在Service文件中增加

Environment=“KAFKA_HEAP_OPTS=-Xmx4G -Xms4G”

不覆盖修改，则启动的JVM参数采用bin/kafka-server-start.sh 默认
在这里插入图片描述

在Kraft模式下，Kafka有如下三个配置文件可以配置。

config/kraft/broker.properties 当节点作为[broker]角色运行时，会去读该文件中的配置项启动。
config/kraft/controller.properties 当节点作为[controller]角色运行时，会去读该文件中的配置项启动。
config/kraft/server.properties 当节点同时作为[broker, controller]角色运行时，会去读该文件中的配置项启动。