Kafka 2.8.0不再依赖Zookeeper新特性

最新推荐文章于 2025-01-09 16:26:34 发布
原创 最新推荐文章于 2025-01-09 16:26:34 发布 · 2.2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#zookeeper #kafka

Kafka 2.8.0发布，引入了KRaft模式，替代Zookeeper管理元数据。此模式简化了部署，无需额外维护ZooKeeper集群。虽然新版本仍存在一些不足，不适合立即用于生产环境，但这是一个值得关注的里程碑式更新。

目录

1  新特性

2  快速开始

3  优缺点

1  新特性

    2021年4月19日，Kafka官方发布了2.8.0版本，包含了很多新特性：

    其中，我觉得最感兴趣的是提到的第一条特性：Kafka用自管理的Quorum代替ZooKeeper管理元数据。

2  快速开始

    我们可以根据官方文档快速测试看看。

$ ./bin/kafka-se
最低0.47元/天 解锁文章
kafka3.X集群安装(不使用zookeeper)
zhangjunli的博客
10-25 8643
kafka3.X集群安装(不使用zookeeper)
Kafka-3.3.4摒弃zookeeper集群部署操作文档
2301_77356579的博客
05-02 3395
Kafka-3.3.4摒弃zookeeper集群部署操作文档
Kafka 的未来：为何我们要抛弃 ZooKeeper？
AigcFox7033的博客
01-03 1826
为此，Kafka 引入了位移主题（如 “__consumer_offsets”），将位移的提交和获取作为消息处理，存储在日志中，从而避免了频繁访问 ZooKeeper 的性能问题。因此，元数据的存储和之前的位移存储一样，通过现有的消息存储机制进行了一些改造，实现了所需功能，非常巧妙！而在控制器集群（Controller Quorum）中，领导者的选举和切换过程就快得多，因为元数据已经在集群中同步，即集群中的所有 Broker 都已经拥有完整的元数据，无需重新加载。一、ZooKeeper 的核心功能。
kafka的kraft模式
健康平安的活着的专栏
04-11 3724
一 Kafka-Kraft 架构 左图为 Kafka 现有架构，元数据在 zookeeper 中，运行时动态选举 controller，由 controller 进行 Kafka 集群管理。 右图为 kraft 模式架构（实验性），不再依赖 zookeeper 集群， 而是用三台 controller 节点代替 zookeeper，元数据保存在 controller 中，由 controller 直接进 行 Kafka 集群管理 这样做的好处有以下几个： ⚫ Kafk
即将发布的 Apache Kafka 2.8 将不需要依赖 Zookeeper，单集群支持数百万个分区
过往记忆大数据
04-11 1575
Apache Kafka 的核心设计是日志（Log）—— 一个简单的数据结构，使用顺序操作。以日志为中心的设计带来了高效的磁盘缓冲和 CPU 缓存使用、预取、零拷贝数据传输和许多其他好处，...
Kafka 2.8.0 正式发布，增加了哪些新特性？
码农架构
05-02 4011
导读：目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、Storm、Spark、Flink 等都支持与 Kafka 集成。 2021年4月19日，Kafka官方发布了2.8.0版本，包含了很多新特性！其中，我觉得最感兴趣的是提到的第一条特性-Kafka用自管理的Quorum代替ZooKeeper管理元数据。 之前Kafka使用ZooKeeper来存储有关分区和代理的元数.
zookeeper3.7.0 + kafka2.8.0 集群搭建干货
YANGMING1234ym的博客
09-03 870
一、资源下载 zookeeper 3.7 下载地址：https://mirrors.bfsu.edu.cn/apache/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz kafka 2.8 下载地址：https://mirrors.bfsu.edu.cn/apache/kafka/2.8.0/kafka_2.12-2.8.0.tgz 二、环境准备 准备3台centos8 虚拟机，并按一下操作进行配置 机器 hostna.
Kafka 2.8 移除Zookeeper 集群搭建
weixin_39034379的博客
06-28 2703
Kafka 2.8 移除Zookeeper 集群搭建 下载解压 tar xzf kafka_2.12-2.8.0.tgz cd kafka_2.12-2.8.0 单机环境模拟集群 cd config/kraft cp server.properties server1.properties cp server.properties server2.properties cp server.properties server3.properties server1 node.id=1 process
大数据——kafka2.8.0介绍
热门推荐
Vicky_Tang
07-31 1万+
2021年4月19日，Kafka 2.8.0正式发布！这次升级包括了很多重要的改动，其中最引人瞩目的就是kafka通过自我管理的仲裁来替代ZooKeeper，通俗的说，Kafka将不再需要ZooKeeper，正式分手！ 1. Kafka概述 Kafka是一个分布式、支持分区的（partition）、多副本的（replica），多订阅者的消息发布订阅系统，常见可以用于web/nginx日志、访问日志，消息服务等等。 2. Kafka的特性 高吞吐量、低延迟：Kafka每秒可以处理几十万...
Kafka 不再需要 ZooKeeper
05-06 4477
Kafka 2.8.0 出炉了，此版本有一项重大改进： 实现了 Raft 分布式一致性机制，意味着可以脱离 ZooKeeper 独立运行了。 ZooKeeper 在 Kafka 中扮演着重要的角色，用来存储 Kafka 的元数据。 ZooKeeper 存储着 Partition 和 Broker 的元数据 ，同时也负责 Kafka Controller 的选举工作。 对于 Kafka 来讲，ZooKeeper 是一套外部系统，要想部署一套 Kafka 集群，就要同时部署、管理、监控 ZooKeeper.
本机搭建kafka单机版不需要依赖zookeeper
最新发布
woxiangmanman的博客
01-09 3728
本机搭建kafka单机版不需要依赖zookeeper
抛弃zookeeper的Kafka集群，看这一篇就可以了
虚构规律，寰宇笑谈
10-03 2393
本地安装测试：三台主机：192.168.10.110，192.168.10.120，192.168.10.130。
【运维】Kafka高可用： KRaft（不依赖zookeeper）集群搭建
hiliang521的博客
12-12 6039
>本文主要介绍了 >- kafka raft集群架构： > 与旧架构的不同点，有哪些优势，哪些问题 > 架构成员有哪些，怎么规划。 > - 三节点集群安装、启动与测试
kafka不使用zookeeper
WenHaiGo的博客
04-11 1021
为什么可以不使用zook?
kafka为什么抛弃zookeeper
justlpf的专栏
10-11 2362
如果 ZooKeeper 集群的某个节点的数据发生变更，则会通知其它 ZooKeeper 节点同时执行更新，就得等着大家（超过半数）都写完了才行，这写入的性能就比较差了。当 Controller 变更的时候，需要重新加载所有的元数据到新的 Controller 身上，并且需要把这些元数据同步给集群内的所有 Broker。特别适合存储一些公共的配置信息、集群的一些元数据等等。存储系统了吧，一般而言，ZooKeeper 只适用于存储一些简单的配置或者是集群的元数据，不是真正意义上的存储系统。
Kafka 2.8.0新特性 （kafka之后不在需要zookeeper）
chbxw
07-14 751
以下是Kafka 2.8.0版本中解决JIRA问题的摘要，有关该版本的完整文档，入门指南以及关于该项目的信息，请参考Kafka官方文档 有关升级的注意事项：在升级你的集群之前，请仔细阅读此版本的升级文档。升级有关不兼容性和破坏性的变更，性能变化以及可能影响Kakfa生产的任何其他变化。 Kafka 2.8.0包括许多重要的新功能。以下是重要变化的总结。 抢先体验，kafka通过自我管理的仲裁来替代ZooKeeper（很快，Apache Kafka将不再需要ZooKeeper。） 增加集群描述API 在SA
【框架学习（4）-- Kafka3.2.1命令及不使用Zookeeper启动】
eee3331的博客
11-25 2973
框架学习四：如何不使用zookeeper启动kafka
Kafka将逐步弃用对zookeeper的依赖
黑曼巴
12-28 3023
1、为什么以及如何消除 Kafka 对 ZooKeeper 的依赖 ？ 2、新控制器的架构是怎样的？ 3、代理通过新的 MetadataFetch API 从哪里获取更新？ 4、代理进程有哪些状态？ Kafka 社区在 Wiki 空间上提交了一项新的改进提案“KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum”，为了消除 Kafka 对 ZooKeeper 的依赖，该提案建议用自管理的元数据仲裁机制替换原来的 ZooKeeper 组件
帅呆了！Kafka移除了Zookeeper！
大叶子不小的博客
09-15 4155
普天同庆!最新版的Kafka 2.8.0，移除了对Zookeeper的依赖，通过KRaft进行自己的集群管理。很好很好，终于有点质的改变了。一听到KRaft，我们就想到了Raft协议。Raft协议是当今最流行的分布式协调算法，Etcd、Consul等系统的基础，就来自于此。现在Kafka也有了。由于这个功能太新了，所以2.8.0版本默认还是要用ZooKeeper的，但并不妨碍我们尝尝鲜。另外，不要太激动了，据官方声称有些功能还不是太完善，所以不要把它用在线上。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值