kafka搭建kraft集群模式

原创 已于 2023-03-26 21:01:42 修改 · 1.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #java #大数据

于 2022-12-04 13:38:03 首次发布
本文介绍如何搭建基于Kafka 3.0.0的无Zookeeper集群，包括配置文件修改、集群初始化及启动步骤，并演示了创建主题及分区领导者的动态选举过程。

kafka2.8之后不适用zookeeper进行leader选举，使用自己的controller进行选举

1.准备工作

准备三台服务器 192.168.3.110 192.168.3.111 192.168.3.112，三台服务器都要先安装好jdk1.8，配置好环境变量， 下载好kafka3.0.0二进制压缩包
解压后进入conf/kraft目录下，修改server.properties文件
在这里插入图片描述

2.修改配置文件

先修改110节点，主要修改下面的几个参数 node.id要唯一，跟leader选举有关系
在这里插入图片描述
数据存储位置也要改一下
在这里插入图片描述
其他111和112服务器也按照改一下，把node.id改一下，ip也要改成对应的ip

3.初始化集群
在其中一台服务器上执行下面命令生成一个uuid

sh kafka3.0.0/bin/kafka-storage.sh random-uuid

在这里插入图片描述
用该uuid格式化kafka存储目录，三台服务器都要执行以下命令

sh kafka3.0.0/bin/kafka-storage.sh format -t 5Wr3UWh9SPGFUfX1WQlzAA -c kafka3.0.0/config/kraft/server.properties

在这里插入图片描述
三台服务器都启动kafka

sh kafka3.0.0/bin/kafka-server-start.sh -daemon kafka3.0.0/config/kraft/server.properties

在这里插入图片描述
集群启动之后，创还能一个tipic测试，在哪一台服务器上创建都行

sh kafka3.0.0/bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic kafka --partitions 3 --replication-factor 3

在这里插入图片描述
查看tipoc分区情况

sh kafka3.0.0/bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe kafka

在这里插入图片描述
这时候把111节点kafka关掉，会重新选举，从ar里面第一个，并且在isr中存活的副本成为leader，112成为分区2的leader
在这里插入图片描述

Mac OS 本地搭建 Kafka 集群（KRaft 模式）和实现消费生产和发送代码实例
AI天才研究院
04-17 448
KRaft模式是Kafka的未来发展方向，通过移除ZooKeeper依赖，简化了架构，提高了性能和可扩展性。在Mac OS上搭建本地KRaft集群相对简单，可以快速体验和测试Kafka的最新特性。生产者和消费者的API与之前版本保持兼容，使得应用程序迁移到KRaft模式变得容易。对于生产环境，建议在充分测试后再考虑迁移到KRaft模式，并关注Kafka社区的最新更新和最佳实践。KRaft 是 Kafka 从 2.8.0 版本开始引入的新共识协议，用于替代 ZooKeeper 进行集群元数据管理。
01.生产环境-02-kafka3.8 KRaft模式集群部署
Anwen的博客
04-02 853
controller.quorum.voters：这个配置用于指定controller主控选举的投票节点，所有process.roles包含controller角色的规划节点都要参与，即：zimug1、zimug2、zimug3。格式化操作完成之后，log.dirs目录下多出一个Meta.properties文件，存储了当前的kafka节点的id(node.id)，当前节点属于哪个集群(cluster.id)‌日志检查‌：监控启动日志 logs/server.log，排查配置错误或网络问题‌。
【运维】Kafka高可用： KRaft（不依赖zookeeper）集群搭建
hiliang521的博客
12-12 6003
>本文主要介绍了 >- kafka raft集群架构： > 与旧架构的不同点，有哪些优势，哪些问题 > 架构成员有哪些，怎么规划。 > - 三节点集群安装、启动与测试
kafka实战 集群搭建-Kraft模式
qq_73181349的博客
05-05 1644
kafka集群实战，EFAK配置、kraft集群配置及启动 持续更新！
Kafka 自立的关键：KRaft 替代 Zookeeper 的协调机制原理
最新发布
2501_93892065的博客
10-26 360
控制器负责管理集群元数据（如主题分区、副本分配等），其他 Broker 从控制器同步元数据。Kafka KRaft（Kafka Raft）是 Kafka 从 2.8 版本开始引入的共识协议，用于替代 ZooKeeper 作为元数据管理协调机制。其核心原理基于 Raft 算法，通过选举领导者（Leader）和日志复制实现元数据的高可用性和一致性。多数节点（Quorum）确认日志后，变更才被视为提交（Committed），保证数据一致性。Kafka 3.0 后，KRaft 模式支持生产环境，成为默认推荐选项。
【Kafka】Kafka 4.0 Kraft集群搭建
m0_66705151的博客
07-09 2019
Kafka在2.8版本开始引入kraft架构，用于测试预览。在3.3版本，kraft可以稳定可用。在4.0版本默认只支持kraft，完全去掉了zookeeper的依赖。在kraft架构中，kafka拆分了两种角色，一种是broker，也就是传统的kafka server，另一种是controller，这是一个新角色，其功能是取代zookeeper，由controller来实现集群管理与协调。Kraft的引入使kafka可支持的分区数从十万级提升至百万级，集群故障恢复从分钟级提升为秒级。
kafka集群之kraft模式
企业实战系列集 ●●● https://ximenjianxue.blog.youkuaiyun.com
08-28 6077
Kafka作为一种高吞吐量的分布式发布订阅消息系统，在消息应用中广泛使用，在Kafka2.8之前，Kafka强依赖zookeeper，这也导致当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。最新的3.5版本中，Kafka依然兼容zookeeper Controller，但Kafka Raft元数据模式，已经可以在不依赖zookeeper的情况下独立启动Kafka了。3、更有效的元数据传播——基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能。
【实战】kafka3.X kraft模式集群搭建
勤于笔记，成于点滴。
06-06 2741
相信很多同学都用过Kafka2.0吧，其中需要zookepper集群来做元数据管理和集群选举，大大增加了运维成本，而且也很是影响Kafka性能。言归正传今天我们就分享一期Kafka3.x Kraft模式集群搭建，简直不要太爽。
Kafka + Kraft 集群搭建教程，附详细配置及自动化安装脚本
新质程序猿
08-07 2589
本文主要介绍 kafka + kraft 搭建过程，主要用途是为了日志采集，所以搭建相对比较简单暴力，不过也可以作为一个参考供大家学习，主打一个能用管跑（调优啊，参数解释啊，原理啊，太枯燥了，你自己搜吧）。我们的日志采集架构比较传统，基于 filebeat -> kafka -> logstash -> local file -> nfs. 没有引入 ES 之类的流行的玩法，因为成本有限，人手有限，精力有限，哈哈，我是不会告诉你是因为研发习惯了 grep 日志文件的，咱也没啥动力去改变人家的习惯哈。
docker-compose的方式搭建 kafka KRaft 模式集群
杨杨杨~~的博客
01-24 2783
如果您觉得有用的话，记得给，写作不易啊^ _ ^。而且听说，实在白嫖的话，那欢迎常来啊!!!
kafka集群之kraft模式部署
qq_39334151的博客
12-20 1614
这里初步要修改的地方有以下参数，生产环境还需要根据实际需要调整其他参数以满足生产需求。
基于kraft组建kafka集群(3.0.0)
weixin_42430074的博客
11-25 885
关于使用kraft来组件kafka集群，有问题可以在评论区相见，大家一起讨论！
【保姆式通关宝典】使用Kraft快速搭建Kafka集群（含服务鉴权）
水到渠成
09-11 3369
【保姆式通关宝典】使用Kraft快速搭建Kafka集群+Sasl鉴权模式
kafak集群搭建-基于kRaft方式
qq_46112274的博客
08-26 2321
kafak集群搭建-基于kRaft方式
使用kafka kraft模式安装kafka集群
ZhuZi2759805的博客
12-30 745
部署kafka kraft模式集群
【大数据之Kafka】十五、Kafka-Kraft模式
阿宁的博客
09-20 1020
左图为 Kafka 现有架构，元数据在 zookeeper 中，运行时动态选举 controller，由controller 进行 Kafka 集群管理。右图为 kraft 模式架构（实验性），不再依赖 zookeeper 集群，而是用三台 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进行 Kafka 集群管理。好处：（1）Kafka 不再依赖外部框架，而是能够独立运行；
apache-kafka-3.2.0k之kRaft模式集群安装
u010782920的博客
06-24 1790
kafka Krart 集群 安装
6.kafka3.x-kraft集群模式
woshiwjma956的博客
07-07 814
kafka kraft
Kafka-Kraft模式
互联网知识分享
08-14 948
引入了新的存储格式，将消息的元数据和实际数据进行隔离存储，这样可以更高效地处理大型日志。使用一种新的集群成员管理机制，可以更好地适应节点的加入和退出，从而实现集群的动态扩缩容。的存储格式也有一些不足，例如在处理大型日志时可能会导致性能下降。使用基于日志的复制机制，将消息以日志的方式写入磁盘，从而实现高可靠性和持久性。采用增量式副本重建机制，可以更快地将副本恢复到最新状态，从而提高可用性。的一个新的存储格式和复制协议，用于实现高可用性和数据安全性。的一种新的存储格式和复制协议，用于提供更可靠和可维护的。
docker compose kafka KRaft集群
10-19
要使用 Docker Compose 搭建 Kafka KRaft 集群，可参考以下步骤及示例： ### 前提条件 若之前安装过旧版本的 Docker，可使用以下命令卸载： ```bash sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-selinux docker-engine-selinux docker-engine docker-ce ``` [^3] ### 部署 Kafka 的 KRaft 模式 Kafka 的 KRaft 模式不用依赖 Zookeeper。完成搭建后，可进行消费 Kafka 主题的操作： 在新终端进入容器，执行命令： ```bash docker exec -it --user root kafka bash kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test-topic --from-beginning ``` 切换到之前的终端，输入如 `a b c d` ，若能成功消费，则部署完成 [^1]。 ### 编写 Docker Compose 文件 以下是一个简单的 Kafka 集群的 Docker Compose 示例： ```yaml kafka1: restart: always image: wurstmeister/kafka:2.13_2.8.1 container_name: kafka1 hostname: kafka1 ports: - '9092:9092' environment: - KAFKA_ZOOKEEPER_CONNECT=zookeeper1:2181,zookeeper2:2182,zookeeper3:2183/kafka - KAFKA_BROKER_ID=1 - KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://182.92.152.225:9092 - ALLOW_PLAINTEXT_LISTENER=yes - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=3 - KAFKA_NUM_PARTITIONS=1 volumes: - /etc/localtime:/etc/localtime - /home/sumengnan/apache/kafka/kafka1/data:/kafka/kafka-logs-kafka1 - /home/sumengnan/apache/kafka/kafka1/logs:/opt/kafka/logs networks: - net ``` 需注意，此示例是普通 Kafka 集群配置，对于 KRaft 模式，要根据 KRaft 的特性修改环境变量等配置，如移除 `KAFKA_ZOOKEEPER_CONNECT`，添加 KRaft 相关配置，如 `KAFKA_PROCESS_ROLES`、`KAFKA_CONTROLLER_QUORUM_VOTERS` 等 [^2]。 ### 启动集群 在 Docker Compose 文件所在目录，使用以下命令启动 Kafka 集群： ```bash docker-compose up -d ``` ### 验证集群 可通过 Kafka 客户端工具（如 `kafka-topics.sh`、`kafka-console-producer.sh`、`kafka-console-consumer.sh`）验证集群是否正常工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值