ZooKeeper 不行了？居然被 Kafka 抛弃了！

最新推荐文章于 2025-05-28 19:06:45 发布
最新推荐文章于 2025-05-28 19:06:45 发布
阅读量824 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： 中间件 分布式 微软 css adb
原文链接：http://www.iocoder.cn/zhishixingqiu/?vip\x26amp;amp;mp
Kafka 2.8 版本引入了 KRaft 模式，用内部 Quorum 控制器替代 ZooKeeper，简化系统架构并提升性能。本文介绍 KRaft 的工作机制及带来的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

点击上方“芋道源码”，选择“设为星标”

管她前浪，还是后浪？

能浪的浪，才是好浪！

每天 8:55 更新文章，每天掉亿点点头发...

源码精品专栏

 

来源：Java指南者

图片

Kafka 2.8 版本

分布式发布与订阅系统Apache Kafka在即将发布的2.8版本，使用Kafka内部的Quorum控制器来取代ZooKeeper。

因此，用户第一次可在完全不需要ZooKeeper的情况下执行Kafka，这不只节省运算资源，并且也使得Kafka效能更好，还可支持规模更大的集群。

过去Apache ZooKeeper是Kafka这类分布式系统的关键，ZooKeeper扮演协调代理的角色，所有代理服务器启动时，都会连接到Zookeeper进行注册。

当代理状态发生变化时，Zookeeper也会储存这些数据，在过去，ZooKeeper是一个强大的工具，但是毕竟ZooKeeper是一个独立的软件，使得Kafka整个系统变得复杂，因此官方决定使用内部Quorum控制器来取代ZooKeeper。

KRaft：Kafka 的 Raft

这项工作从去年4月开始，而现在这项工作取得部分成果，用户将可以在2.8版本，在没有ZooKeeper的情况下执行Kafka，官方称这项功能为Kafka Raft元数据模式（KRaft）。

在KRaft模式，过去由Kafka控制器和ZooKeeper所操作的元数据，将合并到这个新的Quorum控制器，并且在Kafka集群内部执行。

当然，如果使用者有特殊使用情境，Quorum控制器也可以在专用的硬件上执行。

图片

KRaft协定使用事件驱动机制来追踪整个集群的元数据，过去必须依赖RPC来处理的任务，现在受益于事件驱动以及实际的日志传输，这些改变所带来的好处，便是让Kafka仍够支持更多的分割。

移除 ZooKeeper 的收益

过去Kafka因为带着ZooKeeper，因此被认为拥有笨重的基础设施。

而在移除ZooKeeper之后，Kafka更轻巧更适用于小规模工作负载，轻量级单体程序适合用于边缘以及轻量级硬件解决方案。

注意事项

值得注意的是，在抢先体验版中，有部分像是ACL、安全以及交易等功能都尚未支持，而且在KRaft模式下，也还不支持重新分配分割和JBOD，官方提到，这些功能会在今年稍晚的版本中提供，由于很多功能处于测试阶段，不建议大家将其用于生产环境中。

对了，如果胖友还没入门过 Kafka 的话，可以看看艿艿写的三篇教程：

  • 《芋道 Kafka 极简入门》：http://www.iocoder.cn/Kafka/install/?nb

  • 《芋道 Spring Boot 分布式消息队列 Kafka 入门》：http://www.iocoder.cn/Spring-Boot/Kafka/?nb

  • 《芋道 Spring Cloud 消息队列 Kafka 入门》：http://www.iocoder.cn/Spring-Cloud/Kafka/?nb

  • 《芋道 Spring Cloud 事件总线 Bus Kafka 入门》：http://www.iocoder.cn/Spring-Cloud/Bus-Kafka/?nb

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，长按下方二维码噢：

已在知识星球更新源码解析如下：

最近更新《芋道 SpringBoot 2.X 入门》系列，已经 20 余篇，覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例，以及超 4W 行代码的电商微服务项目。

获取方式：点“在看”，关注公众号并回复 666 领取，更多内容陆续奉上。

文章有帮助的话，在看，转发吧。
谢谢支持哟 (*^__^*）
Kafka-3.3.4摒弃zookeeper集群部署操作文档
2301_77356579的博客
05-02 3200
Kafka-3.3.4摒弃zookeeper集群部署操作文档
Kafka为什么要放弃Zookeeper？
weixin_70730532的博客
06-10 545
最近，社区发表了一篇文章，主要讲述了未来的版本将要放弃，这对于用户来说，是一个重要的改进。之前部署就必须得部署，而之后就只要单独部署就行了。[1]最早是由公司开发，后来捐献给了基金会。被官方定义为分布式流式处理平台，因为具备高吞吐、可持久化、可水平扩展等特性而被广泛使用。目前具体如下功能：消息队列,具有系统解耦、流量削峰、缓冲、异步通信等消息队列的功能。分布式存储系统，可以把消息持久化，同时用多副本来实现故障转移，可以作为数据存储系统来使用。实时数据处理，提供了一些和数据处理相关的组件，比如、，具备了实时数
取代ZooKeeper！高并发下的分布式一致性开源组件StateSynchronizer
cpongo011702
12-06 312
StateSynchronizer是开源分布式流存储平台Pravega的核心组件。StateSynchronizer组件以stream为基础，对外提供一致性状态共享服务。StateSynchronizer允许一组进程同时读写同一共享状态而不必担心一致性问题。本文将从共享状态和一致性的角度出发，详细描述StateSynchronizer的整体架构、工作机制和实现细节。利用stream的天然特性，St...
Linux Kafka zookeeper模式和kraft模式集群搭建
最新发布
hayhead的博客
05-28 472
kafka集群搭建
9张图，Kafka为什么要放弃Zookeeper
dotNET跨平台
04-22 764
最近，confluent社区发表了一篇文章，主要讲述了Kafka未来的2.8版本将要放弃Zookeeper，这对于Kafka用户来说，是一个重要的改进。之前部署Kafka就必须得部署Zoo...
KAFKA KARFT模式下弃用zookeeper和设置内外不同认证
huhaiand的专栏
07-29 683
kafka使用karft模式配置内外部不同认证模式。
帅呆了！Kafka移除了Zookeeper！
大叶子不小的博客
09-15 3919
普天同庆!最新版的Kafka 2.8.0，移除了对Zookeeper的依赖，通过KRaft进行自己的集群管理。很好很好，终于有点质的改变了。一听到KRaft，我们就想到了Raft协议。Raft协议是当今最流行的分布式协调算法，Etcd、Consul等系统的基础，就来自于此。现在Kafka也有了。由于这个功能太新了，所以2.8.0版本默认还是要用ZooKeeper的，但并不妨碍我们尝尝鲜。另外，不要太激动了，据官方声称有些功能还不是太完善，所以不要把它用在线上。
Kafka 的未来：为何我们要抛弃 ZooKeeper？
AigcFox7033的博客
01-03 1675
为此，Kafka 引入了位移主题（如 “__consumer_offsets”），将位移的提交和获取作为消息处理，存储在日志中，从而避免了频繁访问 ZooKeeper 的性能问题。因此，元数据的存储和之前的位移存储一样，通过现有的消息存储机制进行了一些改造，实现了所需功能，非常巧妙！而在控制器集群（Controller Quorum）中，领导者的选举和切换过程就快得多，因为元数据已经在集群中同步，即集群中的所有 Broker 都已经拥有完整的元数据，无需重新加载。一、ZooKeeper 的核心功能。
大厂消息中间件高频面试题与知识点整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）
热门推荐
张彦峰的博客
04-07 172万+
互联网高频面试之消息中间件基本问题和知识点整理分析
kafka原理与起步使用 （+zookeeper）
weixin_40366684的博客
05-21 688
kafka原理与起步使用 （+zookeeper） https://www.jianshu.com/p/d3e963ff8b70 https://blog.youkuaiyun.com/java_66666/article/details/81015302 http://kafka.apachecn.org/quickstart.html https://blog.youkuaiyun.com/liyiming2017/article/details/83035157 https://www.cnblogs.com/ultranm
Kafka为什么要抛弃ZooKeeper？
weixin_42324471的博客
12-23 1848
首先我们需要明白zookeeper在kafka中作用 1、提供元数据的管理（如一些 Broker 的信息、主题数据、分区数据等等。） 2、Broker注册、Consumer注册。 3、分区中leader副本的选举。 4、生产者和消费者的负载均衡。 5、维护消费组和消费者之间关系及每个partition的消费信息。 抛弃ZooKeeper理由 1：维护成本更高 Kafka作为中间件，强依赖于另一个中间件，搭建kafk集群，需要先搭建zookeeper集群。 增加运维难度。 2、CP，强一致性 如果 ZooKe
后端面试必备：Kafka为什么要抛弃Zookeeper？深入解析架构演进之路
qq_58299462的博客
03-30 565
Apache Kafka作为当今最流行的分布式消息系统之一，其架构设计一直在不断演进。其中最重大的改变之一就是从依赖ZooKeeper转向自管理的元数据架构。本文将深入探讨Kafka为什么要做出这一改变，分析其中的技术考量，并通过流程图帮助理解这一架构变迁。
kafka为什么抛弃zookeeper
justlpf的专栏
10-11 2317
如果 ZooKeeper 集群的某个节点的数据发生变更，则会通知其它 ZooKeeper 节点同时执行更新，就得等着大家（超过半数）都写完了才行，这写入的性能就比较差了。当 Controller 变更的时候，需要重新加载所有的元数据到新的 Controller 身上，并且需要把这些元数据同步给集群内的所有 Broker。特别适合存储一些公共的配置信息、集群的一些元数据等等。存储系统了吧，一般而言，ZooKeeper 只适用于存储一些简单的配置或者是集群的元数据，不是真正意义上的存储系统。
ZooKeeper实现分布式锁的三种方案（有实例），不能错过！
qq_36551991的博客
06-10 6031
zookeeper客户端选型 1、原生zookeeper客户端，有watcher一次性、无超时重连机制等一系列问题 2、ZkClient，解决了原生客户端一些问题，一些存量老系统中还在使用 3、curator，提供了各种应用场景（封装了分布式锁，计数器等），新项目首选 分布式锁使用场景 在单体项目中jvm中的锁即可完成需要，但是微服务、分布式环境下，同一个服务可能部署在多台服务器上，多个jvm之间无法通过常用的jvm锁来完成同步操作，需要借用分布式锁来完成上锁、释放锁。例如在订单服务中，我们需要根据日期来
曾经人见人爱花见花开的zookeeper为啥突然不香了呢
microGP的专栏
06-23 1346
zookeeper是何方神圣 zookeeper（简称zk），顾名思义，为动物园管理员的意思，在Hadoop生态体系这个动物园里，他确实管理着诸如Hadoop（大象），HBase（鲸鱼）等动物；甚至很多动物园之外的用户也在依赖他（如Storm，Kafka）。在分布式场景中，zk的应用非常广泛，如：数据发布/订阅、命名服务、配置中心、分布式锁、集群管理、选主与服务发现等等。下面通过一个故事来说明zookeeper到底是怎么发迹起来以及如何管理其他”动物“的 zookeeper的封神之...
clickhouse优化使用clickhouse-keeper替代zookeeper
robinhunan的博客
07-14 2901
ClickHouse Keeper 是 ZooKeeper 的替代品，与 ZooKeeper 不同，ClickHouse Keeper 是用 C++ 编写的，并使用 RAFT 算法实现，该算法允许对读写具有线性化能力。 clikhouse-keeper目的在于替换zookeeper，使用clickhouse后，服务器性能，提升了一大截，只需要在配置zookeeper的地方，改成clickhouse-keeper即可。 ClickHouse keeper相对zookeeper来说性能更好，维护更方便。
ConfigBus：取代ZooKeeper，Twitter 的动态配置实践
weixin_37098404的博客
03-29 393
来源 | Twitter Engineering Blog译者 | 谢丽ConfigBus 是 Twitter 的动态配置系统，包括存储配置的数据库、将配置分发到 Twi...
为什么zookeeper慢慢被大厂放弃
weixin_42029738的博客
08-24 364
zookeeper将服务的健康检测绑定在zookeeper对于session的健康检测，换句话讲就是绑定在TCP长连接的探活上，其实并没有对服务的可用性做检测的，也就是即使服务下线了zookeeper的健康检查是检测不了，所以zookeeper的检测对实际的业务没有什么帮助的。zookeeper在设计的时候要求就是高可靠的中间件，其主和从之间的同步都会记录一个持久化的日志，像服务发现的场景是不关心中间的状态变化的，我们只是希望可以实时的获取服务列表数据就可以了，如果记录状态变更日志就损耗的一定的性能。
kafka怎么设置消息超时抛弃
03-25
### 如何在Kafka中配置消息超时并丢弃过期消息 在Apache Kafka中，可以通过设置`log.retention.*`参数来管理日志文件的清理行为。这些参数决定了消息在主题分区的日志中保留的时间长度或大小限制。如果超过设定条件，则消息会被标记为可删除，并由Kafka定期清理。 #### 日志保留时间配置 通过调整`log.retention.hours`、`log.retention.minutes`或者`log.retention.ms`可以指定消息的最大存活时间。例如： ```properties log.retention.hours=24 ``` 上述配置表示所有存储在这个主题下的消息将在24小时之后被自动清除[^1]。需要注意的是，默认情况下该属性适用于整个Broker级别；然而也可以针对特定的主题单独定义其保留策略。 另外还有一种基于字节数量的方式来进行控制——即当达到一定体积后便开始移除旧记录直到满足新的空间需求为止。这需要用到如下几个选项之一: - `log.segment.bytes`: 单个segment文件最大尺寸. - `log.roll.ms`: 创建新segment之前等待毫秒数. 一旦启用了分片机制(`log.cleanup.policy=compact,delete`) ，那么即使设置了较短的有效期限也可能不会立即生效，因为Compact操作本身存在延迟特性[^2]. 对于消费者端而言，在面对大量突发流量可能导致处理不过来的状况下(如每秒钟生产五万笔订单)，应当考虑增加Consumer实例数量形成集群共同承担负载压力的同时优化单线程内的解析效率至低于平均耗时两百毫秒之下才能有效缓解积压现象的发生概率[^3]. 最后值得注意的一点是除了官方文档外还有很多第三方库可以帮助我们更便捷地完成诸如过滤等功能开发工作[^4],但在实际应用过程中仍需依据具体业务逻辑做出相应修改适配最佳实践方案. ```bash cd /export/servers/kafka_2.11-1.0.0 bin/kafka-configs.sh --zookeeper node01:2181,node02:2181,node03:2181 --alter --add-config retention.ms=86400000 --entity-type topics --entity-name itcast_order ``` 以上命令展示了如何更改名为itcast_order 的Topic上的retention时间为一天 (以毫秒计) 。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值