kafka KRaft 集群搭建

KafkaKRaft集群安装与配置教程

kafka KRaft集群安装

包下载

https://downloads.apache.org/kafka/3.6.1/kafka_2.13-3.6.1.tgz

kafka集群构建好后的数据目录结构

[root@localhost data]# tree /data/kafka
/data/kafka
├── kafka-1	# 节点1源码目录
├── kafka-2	# 节点2源码目录
├── kafka-3	# 节点3源码目录
└── kafkadata	# kafka数据存放目录
    ├── kafkadata1	# 节点1数据存放目录
    ├── kafkadata2	# 节点2数据存放目录
    └── kafkadata3	# 节点3数据存放目录

更改kafka配置文件

kafka节点1配置文件
[root@localhost kraft]# cat cat /data/kafka/kafka-1/config/kraft/server.properties  |grep -Ev "#|^$"
# 表示kafka的KRaft模式
process.roles=broker,controller
# 集群节点的标记
node.id=1
# 参与集群投票节点
controller.quorum.voters=1@localhost:19093,2@localhost:29093,3@localhost:39093
# 定义监听地址
listeners=PLAINTEXT://:19092,CONTROLLER://:19093
inter.broker.listener.name=PLAINTEXT
# 对外宣告地址
advertised.listeners=PLAINTEXT://localhost:19092
controller.listener.names=CONTR
要使用 Docker Compose 搭建 Kafka KRaft 集群,可参考以下步骤及示例: ### 前提条件 若之前安装过旧版本的 Docker,可使用以下命令卸载: ```bash sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine docker-ce ``` [^3] ### 部署 KafkaKRaft 模式 KafkaKRaft 模式不用依赖 Zookeeper。完成搭建后,可进行消费 Kafka 主题的操作: 在新终端进入容器,执行命令: ```bash docker exec -it --user root kafka bash kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning ``` 切换到之前的终端,输入如 `a b c d` ,若能成功消费,则部署完成 [^1]。 ### 编写 Docker Compose 文件 以下是一个简单的 Kafka 集群的 Docker Compose 示例: ```yaml kafka1: restart: always image: wurstmeister/kafka:2.13_2.8.1 container_name: kafka1 hostname: kafka1 ports: - '9092:9092' environment: - KAFKA_ZOOKEEPER_CONNECT=zookeeper1:2181,zookeeper2:2182,zookeeper3:2183/kafka - KAFKA_BROKER_ID=1 - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://182.92.152.225:9092 - ALLOW_PLAINTEXT_LISTENER=yes - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=3 - KAFKA_NUM_PARTITIONS=1 volumes: - /etc/localtime:/etc/localtime - /home/sumengnan/apache/kafka/kafka1/data:/kafka/kafka-logs-kafka1 - /home/sumengnan/apache/kafka/kafka1/logs:/opt/kafka/logs networks: - net ``` 需注意,此示例是普通 Kafka 集群配置,对于 KRaft 模式,要根据 KRaft 的特性修改环境变量等配置,如移除 `KAFKA_ZOOKEEPER_CONNECT`,添加 KRaft 相关配置,如 `KAFKA_PROCESS_ROLES`、`KAFKA_CONTROLLER_QUORUM_VOTERS` 等 [^2]。 ### 启动集群 在 Docker Compose 文件所在目录,使用以下命令启动 Kafka 集群: ```bash docker-compose up -d ``` ### 验证集群 可通过 Kafka 客户端工具(如 `kafka-topics.sh`、`kafka-console-producer.sh`、`kafka-console-consumer.sh`)验证集群是否正常工作。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值