【Kafka】基于Docker的KRaft模式(无Zookeeper)集群安装及测试

已于 2022-10-20 16:31:11 修改
阅读量6.3k 收藏 16
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 后端 kafka 运维 文章标签： kafka docker python 消息队列
于 2022-10-19 16:31:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MacwinWin/article/details/127409444

【Kafka运维】部署基于Docker的Kraft模式Kafka集群

最近项目中想使用kafka做消息系统，但安装好像很复杂，现在把安装过程记录一下。
主流的安装方式是在服务器上直接安装，而我希望的是使用Docker。
主流的Kafka使用Zookeeper，但最近Kafka将会逐步舍弃Zookeeper而使用自带的KRaft
所以以下步骤是基于Docker安装无Zookeeper的Kafka。

环境

服务器1：

  • 10.8.15.49
  • Docker: 20.10.20
  • docker-compose: 1.26.0
  • Kafka: 3.3.1

服务器2：

  • 10.11.206.4
  • Docker: 20.10.20
  • docker-compose: 1.26.0
  • Kafka: 3.3.1

服务器3：

  • 10.11.206.141
  • Docker: 20.10.20
  • docker-compose: 1.26.0
  • Kafka: 3.3.1

docker-compose.yml

将以下docker-compose.yml分别放在各服务器的任意位置
服务器1:

version: "3"
services:
   kafka:
     image: 'bitnami/kafka:latest'
     user: root
     environment:
       - KAFKA_ENABLE_KRAFT=yes
       - KAFKA_CFG_PROCESS_ROLES=broker,controller
       - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
       - KAFKA_CFG_LISTENERS=PLAINTEXT://:9095,CONTROLLER://:9096
       - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
       - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://10.8.15.49:9095
       - KAFKA_BROKER_ID=1
       - KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
       - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@10.8.15.49:9096,2@10.11.206.141:9093,3@10.11.206.4:9093
       - ALLOW_PLAINTEXT_LISTENER=yes
     volumes:
       - /data/deploy/kafkaCluster/kraft:/bitnami/kafka:rw
     network_mode: host

服务器2:

version: "3"
services:
   kafka:
     image: 'bitnami/kafka:latest'
     user: root
     environment:
       - KAFKA_ENABLE_KRAFT=yes
       - KAFKA_CFG_PROCESS_ROLES=broker,controller
       - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
       - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
       - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
       - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://10.11.206.4:9092
       - KAFKA_BROKER_ID=3
       - KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
       - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@10.8.15.49:9096,2@10.11.206.141:9093,3@10.11.206.4:9093
       - ALLOW_PLAINTEXT_LISTENER=yes
     volumes:
       - /data/deploy/kafkaCluster/kraft:/bitnami/kafka:rw
     network_mode: host

服务器3:

version: "3"
services:
   kafka:
     image: 'bitnami/kafka:latest'
     user: root
     environment:
       - KAFKA_ENABLE_KRAFT=yes
       - KAFKA_CFG_PROCESS_ROLES=broker,controller
       - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
       - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
       - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
       - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://10.11.206.141:9092
       - KAFKA_BROKER_ID=3
       - KAFKA_KRAFT_CLUSTER_ID=LelM2dIFQkiUFvXCEcqRWA
       - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@10.8.15.49:9096,2@10.11.206.141:9093,3@10.11.206.4:9093
       - ALLOW_PLAINTEXT_LISTENER=yes
     volumes:
       - /data/deploy/kafkaCluster/kraft:/bitnami/kafka:rw
     network_mode: host

注：

  1. 由于10.8.15.49服务器的9092和9093端口被占用了，故这里使用9095和9096端口
  2. 由于network_mode: host原因，docker-compose文件中没有指定ports

启动

分别"docker-compose up -d"

测试

进入容器中

>>> docker exec -it kafka_kafka_1 /bin/bash

创建

副本为3、分区为5的topic

>>> /opt/bitnami/kafka/bin/kafka-topics.sh --create --topic foo --partitions 5 --replication-factor 3 --bootstrap-server 10.8.15.49:9095,10.11.206.141:9092,10.11.206.4:9092

Created topic foo.

查看topic列表

>>> /opt/bitnami/kafka/bin/kafka-topics.sh --list --bootstrap-server 10.8.15.49:9095,10.11.206.141:9092,10.11.206.4:9092

foo

查看topic详情

>>> /opt/bitnami/kafka/bin/kafka-topics.sh --describe --topic foo --bootstrap-server 10.8.15.49:9095,10.11.206.141:9092,10.11.206.4:9092

Topic: foo	TopicId: TrI5QIXpTle-yl2FJy9vCA	PartitionCount: 5	ReplicationFactor: 3	Configs:
	Topic: foo	Partition: 0	Leader: 1	Replicas: 1,2,3	Isr: 1,2,3
	Topic: foo	Partition: 1	Leader: 2	Replicas: 2,3,1	Isr: 2,3,1
	Topic: foo	Partition: 2	Leader: 3	Replicas: 3,1,2	Isr: 3,1,2
	Topic: foo	Partition: 3	Leader: 1	Replicas: 1,3,2	Isr: 1,3,2
	Topic: foo	Partition: 4	Leader: 3	Replicas: 3,2,1	Isr: 3,2,1

消息生产消费

生产者

在任意节点的容器中执行如下命令

>>> /opt/bitnami/kafka/bin/kafka-console-producer.sh --broker-list 10.8.15.49:9095,10.11.206.141:9092,10.11.206.4:9092 --topic foo
消费者

在任意节点的容器中执行如下命令

>>> /opt/bitnami/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.8.15.49:9095,10.11.206.141:9092,10.11.206.4:9092 --topic foo

效果如下：
在这里插入图片描述

经测试，以上方法在树莓派上不适用

Starting pi_kafka_1 ... done
Attaching to pi_kafka_1
kafka_1  | exec /opt/bitnami/scripts/kafka/entrypoint.sh: exec format error
pi_kafka_1 exited with code 1

参考：https://www.cnblogs.com/linjiangplus/p/16424137.html

2022-10-20更新

删除topic

通过上面方式部署成功后，如果想删除某个topic，使用如下命令

>>> /opt/bitnami/kafka/bin/kafka-topics.sh --delete --bootstrap-server 10.8.15.49:9095,10.11.206.141:9092,10.11.206.4:9092 --topic HelloWorld

会发现删除成功一段时间后，再通过如下命令查看topic列表时，该topic又会出现，那是因为消费者生产者没有退出，将所有的生产者和消费者进程退出后再删除即可

第三十五章 docker 集群部署Kafka3.6，彻底告别zookeeper
RodJohnsonDoctor的专栏
11-19 411
部署 Apache Kafka 3.6 版本并彻底告别 ZooKeeper，可以使用 Kafka 的内置 Raft 协议来实现集群的管理和协调。以下是一份详细的 Docker 部署操作手册，帮助你在 Docker 环境下搭建一个不依赖 ZooKeeper 的 Kafka 集群。
Mac OS 本地搭建 Kafka 集群（KRaft 模式）和实现消费生产和发送代码实例
AI天才研究院
04-17 261
KRaft模式是Kafka的未来发展方向，通过移除ZooKeeper依赖，简化了架构，提高了性能和可扩展性。在Mac OS上搭建本地KRaft集群相对简单，可以快速体验和测试Kafka的最新特性。生产者和消费者的API与之前版本保持兼容，使得应用程序迁移到KRaft模式变得容易。对于生产环境，建议在充分测试后再考虑迁移到KRaft模式，并关注Kafka社区的最新更新和最佳实践。KRaft 是 Kafka 从 2.8.0 版本开始引入的新共识协议，用于替代 ZooKeeper 进行集群元数据管理。
kafka3.4.0集群搭建（无zookeeper）
weixin_51338637的博客
03-23 5269
2.8版本及以上kafka集群搭建，移除zookeeper
Docker Compose 部署 Kafka的KRaft模式 不用依赖 Zookeeper
code在飞的博客
08-27 4256
从 Kafka 2.8 开始，KRaft 模式允许 Kafka 在没有 Zookeeper 的情况下运行。本文将部署单机模式。
Kafka + Kafka-UI
Bruce__taotao的博客
04-26 1781
✅ 使用不需要 Zookeeper 的 Kafka—— 那就是Kafka KRaft 模式从 Kafka 2.8+ 起官方支持，3.3+ 开始默认推荐。去掉 zookeeper 依赖简化部署，性能更高更符合现在 Kafka 的新一代标准架构。
docker kafka单机不要zookeeper
weixin_36940905的博客
06-28 997
Docker相关视频讲解：什么是容器Docker介绍如何实现“docker kafka单机不要zookeeper” 概述 在使用Docker搭建Kafka单机环境时，默认情况下会包含Zookeeper，但有时我们可能只需要Kafka，不需要Zookeeper。本文将向你展示如何使用Docker搭建Kafka单机环境，同...
Docker部署kafka(不依赖zookeeper版)
gaogaosng的博客
03-16 410
【代码】Docker部署kafka(不依赖zookeeper版)
Docker安装Kafka（不依赖ZooKeeper）
赴前尘
02-16 850
Docker安装Kafka（不依赖ZooKeeper）
Kraft模式安装Kafka（含常规、容器两种安装方式）、Kafka镜像下载
搬砖工
01-01 1442
Kafka Mode启动Kafka，Kraft模式安装Kafka（含常规、容器两种安装方式）、Kafka镜像下载
Zookeeper模式安装Kafka（含常规、容器两种安装方式）
搬砖工
01-01 1603
Zookeeper Mode使用的配置是$KFAKA_HOME/config/server.properties- Kraft Mode使用的配置是$KFAKA_HOME/config/kraft/server.properties- Kraft Mode启动见作者的文章：Kraft模式安装Kafka。
docker compose快速部署kafka集群
sumengnan的博客
12-31 1266
kafka-console-ui为kafka的可视化web界面，访问7676端口。其中：KAFKA_ADVERTISED_LISTENERS为外网ip地址。先部署zookeeper集群，启动。再部署kafka集群。
安装不依赖于 Zookeeper 的单节点 Kafka
CodeSingerAlex的博客
06-26 949
此篇文章介绍如何使用 Docker 安装不依赖于 Zookeeper 的单节点 Kafka 3.7.0。
【运维】Kafka高可用： KRaft（不依赖zookeeper）集群搭建_kafka kraft
2401_83947353的博客
05-06 2245
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
本机搭建kafka单机版不需要依赖zookeeper
woxiangmanman的博客
01-09 3026
本机搭建kafka单机版不需要依赖zookeeper
docker安装kafka非zookeeper版
最新发布
boywcx的博客
07-02 201
摘要：本文介绍使用Docker Compose部署基于KRaft模式的Apache Kafka单节点集群（3.4版本）。通过Bitnami镜像配置Kafka服务，启用KRaft模式替代ZooKeeper，设置Broker和Controller双重角色，配置三类监听器（内部通信9092、KRaft控制9093、外部访问9094），并实现数据持久化。同时部署Kafka-UI管理界面，提供可视化集群监控和操作功能，通过自定义网络确保容器间通信。配置包含JVM内存优化、节点ID、选举投票等关键参数，适合开发测试环境
单台机器使用docker安装启动kafka
lijianping962464的博客
05-06 708
单台机器使用docker安装启动kafka kafaka运行需要zookeeper，docker拉取镜像： docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 启动： sudo docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper ...
docker-compose搭建kafka3.7（不依赖zoomkeeper）的集群（三节点）搭建
qq_43436985的博客
02-19 733
docker-compose搭建kafka3.7（不依赖zoomkeeper）的集群（三节点）搭建
Docker Compose部署Kafka（非Zookeeper​）
m0_38040684的博客
11-13 1652
整个工具的代码都在Gitee或者Github地址内。
kafka安装部署（不使用自带的zk，独立安装）
qq_40607631的博客
08-31 532
kafka分布式集群部署
docker安装Kafka kraft模式
03-20
### 如何在 Docker 中以 KRaft 模式安装和运行 Kafka Kafka Raft (KRaft) 是一种替代 ZooKeeper 的新元数据管理机制，它通过内置的 Raft 协议实现分布式一致性。以下是关于如何在 Docker 容器中设置和运行 Kafka KRaft 模式的指南。 #### 1. 准备工作 确保已安装最新版本的 Docker 和 Docker Compose 工具。此外，下载官方支持的 Apache Kafka 镜像，该镜像应包含对 KRaft 模式的支持[^1]。 ```bash docker pull confluentinc/cp-kafka:latest ``` 此命令会拉取 Confluent 提供的最新 Kafka 镜像，通常已经集成了最新的功能更新和支持。 --- #### 2. 创建配置文件 创建一个名为 `kraft-config.properties` 的配置文件，用于定义 KRaft 模式下的必要参数： ```properties process.roles=broker,controller node.id=1 listeners=PLAINTEXT://0.0.0.0:9092 controller.quorum.voters=1@localhost:9093 listener.security.protocol.map=CONTROLLER_PLAINTEXT:PLAINTEXT,PLAINTEXT:PLAINTEXT inter.broker.listener.name=PLAINTEXT num.partitions=1 log.dirs=/tmp/kraft-combined-logs transaction.state.log.replication.factor=1 offsets.topic.replication.factor=1 ``` 上述配置指定了 broker 和 controller 的角色，并设置了监听地址以及日志存储路径等重要选项。 --- #### 3. 初始化元数据 执行以下命令初始化 KRaft 所需的元数据目录结构： ```bash docker run --rm -v $(pwd):/tmp/confluent confctlinit confluentinc/cp-kafka:latest \ kafka-storage format --ignore-formatted --cluster-id randomClusterID \ --config /tmp/confluent/kraft-config.properties ``` 注意：`randomClusterID` 可替换为实际生成的 Cluster ID 或者随机字符串。 --- #### 4. 启动 Kafka 实例 利用之前创建的配置文件启动 Kafka 容器： ```yaml version: '3' services: kafka: image: confluentinc/cp-kafka:latest ports: - "9092:9092" - "9093:9093" volumes: - ./kraft-config.properties:/etc/kafka/kraft-config.properties - ./data:/tmp/kraft-combined-logs command: > bash -c " kafka-server-start /etc/kafka/kraft-config.properties && tail -f /dev/null" ``` 保存以上内容到 `docker-compose.yml` 文件中，并通过以下命令启动服务： ```bash docker-compose up -d ``` 这一步将基于指定的配置文件启动 Kafka 并使其进入 KRaft 模式运行状态。 --- #### 5. 测试连接 可以通过生产消息或消费消息的方式验证 Kafka 是否正常工作： ```bash # 生产测试消息 docker exec -it kafka kafka-console-producer --bootstrap-server localhost:9092 --topic test-topic # 消费测试消息 docker exec -it kafka kafka-console-consumer --bootstrap-server localhost:9092 --from-beginning --topic test-topic ``` 如果能够成功发送和接收消息，则说明环境搭建完成。 --- ### 注意事项 尽管 KRaft 模式简化了传统依赖于 ZooKeeper 的架构设计，但在大规模生产环境中仍需考虑额外因素，例如网络分区容忍度、磁盘性能优化等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值