kafka kraft模式升级metadata.version

最新推荐文章于 2025-07-12 21:56:17 发布

Jerelli

最新推荐文章于 2025-07-12 21:56:17 发布

阅读量155

点赞数 3

CC 4.0 BY-SA版权

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.youkuaiyun.com/jerurry/article/details/149273618

kafka 专栏收录该内容

3 篇文章

订阅专栏

kafka kraft模式升级metadata.version

kafka 3.x版本以后使用kraft模式，当从低版本的kafka升级到高版本的kafka时，一般来说较为简单。如从3.5.0版本升级到3.9.0版本，一般来说只需要保留数据目录（kraft/server.properties文件中配置的log.dirs目录）和配置文件,其他的直接覆盖即可。

但是后续当使用的时候可能会出现报错，提示metadata.version版本过低，此时需要升级元数据中的metadata.version。以下命令可以直接将metadata.version进行升级

bin/kafka-features.sh --bootstrap-server localhost:19092 upgrade --metadata 3.9

提示metadata.version was upgraded to xxx即升级成功

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Jerelli

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Mac OS 本地搭建 Kafka 集群（KRaft 模式）和实现消费生产和发送代码实例

AI天才研究院

04-17

252

KRaft模式是Kafka的未来发展方向，通过移除ZooKeeper依赖，简化了架构，提高了性能和可扩展性。在Mac OS上搭建本地KRaft集群相对简单，可以快速体验和测试Kafka的最新特性。生产者和消费者的API与之前版本保持兼容，使得应用程序迁移到KRaft模式变得容易。对于生产环境，建议在充分测试后再考虑迁移到KRaft模式，并关注Kafka社区的最新更新和最佳实践。KRaft 是 Kafka 从 2.8.0 版本开始引入的新共识协议，用于替代 ZooKeeper 进行集群元数据管理。

Linux-Kafka 3.7.0 Kraft+SASL认证模式集群安装与部署超详细

qq_41118173的博客

07-04

4756

这个是3.2.0版本新引入的认证方式，可以参考 https://cwiki.apache.org/confluence/display/KAFKA/KIP-801%3A+Implement+an+Authorizer+that+stores+metadata+in+__cluster_metadata。5.修改kafka-console-producer.sh和kafka-console-consumer.sh启动文件两个都要改。# 如果未设置，则使用"listeners"的值.

参与评论您还未登录，请先登录后发表或查看评论

深入Kafka KRaft模式：生产环境配置详解

qq_33816243的博客

01-19

2128

Kafka的KRaft模式是一种新的元数据管理方式，旨在去除对ZooKeeper的依赖，使Kafka成为一个完全自包含的系统。在Kafka的传统模式下，元数据管理依赖于ZooKeeper，这增加了部署和运维的复杂性。为了解决这个问题，Kafka社区引入了KRaft模式。在KRaft模式下，所有的元数据，包括主题、分区信息、副本位置等，都被存储在Kafka集群内部的特殊日志中。这个日志使用Raft协议来保证一致性。在传统架构中，Kafka集群包含多个Broker节点和一个ZooKeeper集群。

Kafka 4.0 KRaft模式完全指南

Tianweilan123的博客

05-24

1231

在 Kafka 使用 Zookeeper 的架构下，Broker 启动后会通过 Zookeeper 选举一个 broker 会成为 controller，用于管理集群元数据。在使用KRaft的架构中，支持 Controller 独立于 Broker 运行，每个 controller 可以是活跃节点或热备节点。kraft可以理解成是 Kafka 的 controller 集群，内部使用了 raft 一致性协议，管理集群元数据。

Kafka 源码 KRaft 模式本地运行

yx9o

11-07

1209

通过使用 Raft 协议直接在 Kafka 内部管理元数据，旨在消除对 ZooKeeper 的依赖，从而简化架构，提高性能和可靠性。特点和优势如下： - 简化架构：没有了 ZooKeeper，Kafka 集群的部署和管理变得更简单。 - 提高性能：去除了与 ZooKeeper 的交互，减少了延迟，提高了元数据操作的效率。 - 增强可靠性：KRaft 模式通过简化系统组件和操作，降低了系统出错的可能性，提升了集群的稳定性。

【kraft】kafka kraft模式安装官方文档

fengnzx

01-17

2587

KRaft (aka KIP-500) mode Preview Release Introduction It is now possible to run Apache Kafka without Apache ZooKeeper! We call this the Kafka Raft metadata mode, typically shortened to KRaft mode. KRaft is intended to be pronounced like craft (as in craft

Kafka KRaft模式探索

萌兔兔MMQ！！

07-01

685

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。目前，Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。因此，在Kafka发展的过程当中，为了解决这个问题，提供KRaft模式，来取消K

Kafka集群部署Kraft模式（仅个人学习记录）

qq_57113335的博客

06-12

609

假设机器如下：（需要安装jdk前提，验证java --version）机器名ip地址1.vim /etc/hosts都修改2.systemctl restart network重启网路，互ping下网络是否通3.上传kafka_2.13-3.9.1.tgz到/opt目录下，解压tar -zxvf kafa.....4.修改Kraft配置文件：（主要修改如下：）可以备份cp server.properties server.properties.bak# 通用配置（三台相同）

Kafka集群部署 (KRaft模式集群)

weixin_42562106的博客

01-10

1643

在安装一个kafka-webmetadata:labels:spec:selector:template:metadata:labels:spec:env:value: '可以自定义名字 Kafka Cluster'resources:requests:ports:---metadata:spec:selector:ports:port: 8080。

基于kraft部署kafka集群

12-25

4720

Apache Kafka 是一个开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。Kafka是一个拥有高吞吐、可持久化、可水平扩展，支持流式数据处理等多种特性的分布式消息流处理中间件，采用分布式消息发布与订阅机制，在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。

Kafka 3.6.1 Kraft模式集群安装

Wu 小杰的博客

06-16

1377

1）缓存/消峰有助于控制和优化数据流经过系统的速度，解决和生产消息和消费者消息的处理速度不一致的情况2）解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束3）异步通信允许用户把一个消息放入队列，但并不立即处理它，然后再需要的时候再去处理它们。

Kylin Server V10 下基于Kraft模式搭建Kafka集群

禅与代码的艺术

12-03

970

介绍了 Kafka 下Kraft模式集群与 ZooKeeper 模式集群的区别，以及在Kylin Server V10下如何搭建基于 Kraft 模式的 Kafka 集群。

【八股消消乐】浅尝Kafka性能优化

文艺倾年的博客

07-11

510

🔍简历内容：熟悉Kafka消息队列原理及常见优化手段，如分段与索引、零拷贝、Page Cache、顺序写、分区、批量处理、压缩等。 🚩面试问：Kafka 用到的这些优化技术，很多中间件也用到了，你能举几个例子吗？

详解Kafka重平衡机制详解

m0_66220639的博客

07-09

1034

详解Kafka重平衡机制详解

【Kafka】登录日志处理的三次阶梯式优化实践：从同步写入到Kafka多分区批处理

m0_74282926的博客

07-09

973

分区策略是关键：根据业务特点选择分区策略，我们按用户类型分区实现了并行处理批处理参数需要调优：避免小请求风暴：平衡延迟和吞吐BatchSize：根据数据库写入能力调整客户端复用很重要// 使用sync.Once确保单例// 初始化客户端})监控不可少// 监控批处理指标// ...处理逻辑...// 记录指标错误处理策略网络错误：重试机制数据处理错误：死信队列数据库错误：降级写入本地文件。

Kafka——聊聊Kafka的版本号

最新发布

从知识输入到知识输出

07-12

411

聊聊Kafka的版本号：从命名规则到演进逻辑的深度剖析

详解Kafka通过幂等性实现分区消息不重复的机制

m0_66220639的博客

07-09

607

详解Kafka通过幂等性实现分区消息不重复的机制

基于kafka的分布式日志收集与实时监控平台（原理，框架）

m0_74234518的博客

07-11

684

这个实验里用的消息中间件用的就是kafka，作用是业务解耦，因为这整个流程的核心部分是客户端注册然后将注册信息写入数据库，数据再返回客户端，而发邮件其实是次要的，可有可无，那么既然如此就不能让其对流程的核心部分产生影响，因此需要一个消息中间件，前半部分（核心部分）将要发送的邮件信息存入kafka里，然后发邮件程序自己来取，这样的好处是它们互不影响，降低耦合性，方便扩充。正向代理，代理的是客户端，我们平时无法访问国外网站，如果想访问，那就得使用VPN技术，那这个技术的原理是什么呢，就是正向代理。

kafka 3.9 config/kraft/kafka_server_jaas.conf

01-18

### Kafka 3.9 KRaft Mode `kafka_server_jaas.conf` Configuration Details In the context of Apache Kafka version 3.9 operating under KRaft (Kafka Raft Metadata) mode, configuring security through JAAS is essential for enabling SASL authentication mechanisms. The file `/etc/kafka/kafka_server_jaas.conf` plays a critical role in specifying how clients authenticate to brokers and vice versa. For setting up this configuration specifically within KRaft mode: #### Broker-to-Broker Authentication Entry The following entry configures broker-to-broker communication using SCRAM-SHA-512 as an example mechanism: ```plaintext KafkaServer { org.apache.kafka.common.security.scram.ScramLoginModule required username="broker" password="broker-secret"; }; ``` This ensures that all internal communications between brokers are authenticated securely[^1]. #### Client-to-Broker Authentication Entry To allow client applications to connect securely via SASL/SCRAM, add another section like so: ```plaintext Client { org.apache.kafka.common.security.scram.ScramLoginModule required username="client-user" password="client-password"; }; ``` Here, replace `"client-user"` and `"client-password"` with credentials intended for application-level access control purposes[^2]. It's important to note when running Kafka in KRaft mode, these configurations must align closely not only with your overall cluster setup but also any additional layers of network or transport layer security you might have enabled such as TLS encryption on top of SASL-based mutual authentication schemes. When starting Kafka servers configured thusly, ensure `-Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.conf` appears correctly appended to startup scripts ensuring proper loading at runtime initialization stages.