Kafka在zookeeper中的存储情况

最新推荐文章于 2024-08-05 21:54:31 发布

诛仙89

最新推荐文章于 2024-08-05 21:54:31 发布

阅读量358

点赞数

CC 4.0 BY-SA版权

分类专栏： kafka

本文链接：https://blog.youkuaiyun.com/chuxue1989/article/details/96770942

kafka 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了如何使用zkCli.sh命令查看Zookeeper中的目录结构，并详细解释了'controller'和'brokers'节点的具体含义及作用。例如，'brokers'节点包含了Broker ID集合及其相关信息，可以通过特定命令获取详细的Broker信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目录机构

通过zkCli.sh ls命令查看

[cluster, controller_epoch, controller, storm, brokers, zookeeper, admin, isr_change_notification, consumers, log_dir_event_notification, latest_producer_id_block, config]

controller
目前不清楚

{"version":1,"brokerid":131,"timestamp":"1563718629781"}

brokers

ids      topics   seqid

ids:这个是bokers的id集合，可以根据get /brokers/ids/0 这样的命令获取brokers的详细信息
topics ：获取topic的详细信息，分区数量，分区的leader的id等信息

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

诛仙89

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Zookeeper中存储的Kafka信息

congge_study的博客

03-05

7679

Zookeeper中存储的Kafka信息

一图全解Kafka在zookeeper中的数据结构

石臻臻的杂货铺(szzdzhp001)

09-07

1万+

大家好,我是石臻臻,这是「kafka专栏」连载中的第「10」篇文章… 首发: 一图全解Kafka在zookeeper中的数据结构一图知全貌 /cluster /cluster/id 持久数据节点集群ID 当第一台Broker启动的时候, 发现/cluster/id不存在,那么它就会把自己的cluster.id配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一

参与评论您还未登录，请先登录后发表或查看评论

Kafka在zookeeper中存储的信息

张俊杰的博客

03-01

1266

Kafka在zookeeper中的存储结构 1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息每个topic的信息 { "version":1, // 版本编号目前固定为数字1 "partitions":{ // partitionId编号 "1":[ //同步副本组brokerId列表 101, 103 ],

Kafka在Zookeeper中存储的信息有哪些？

健身变秃，coding变强

04-11

1万+

Kafka在Zookeeper中存储的信息有哪些？

【Kafka】在Kafka和ZK“分手”之前，来看看Kafka在ZK中到底保存了什么

浩瀚宇宙的一粒尘埃

12-03

1348

Kafka将broker、topic、config等元数据信息存放在zookeeper中，详细的结构如下：（基于Kafka2.1.1） ![](https://tva1.sinaimg.cn/large/0081Kckwly1glau2wrt4ej31790rl77t.jpg)

Kafka学习之路（五）Kafka在zookeeper中的存储

qq_36306519的博客

05-03

647

Kafka学习之路（五）Kafka在zookeeper中的存储

kafka+zookeeper教程

最新发布

08-05

1077

创建节点(znode)-s: 创建顺序节点。-e: 创建临时节点。获取znode的数据。设置znode的数据。查看znode的状态。递归删除其子节点使用。

kafka+zookeeper

12-27

具体来说，Zookeeper存储了Kafka的Broker信息、Topic的分区信息和副本分配等，确保了Kafka的高可用性和一致性。 zookeeper-3.3.6.tar.gz这个文件是Zookeeper的3.3.6版本源码包，包含了Zookeeper服务器端和客户端的...

kafka+zookeeper.zip

04-29

标题中的"kafka+zookeeper.zip"表明这是一个关于Apache Kafka和Zookeeper的组合包，通常用于构建高效的消息队列系统，尤其在大数据处理场景中。Apache Kafka是一个分布式流处理平台，而Zookeeper是一个分布式协调...

Kafka 之 ZooKeeper —— 稳定版本、弃用、操作

流华追梦的专栏

06-07

2061

ZooKeeper 是一个分布式的协调服务，主要用于维护集群的元数据信息和配置信息。Kafka 集群依赖于 ZooKeeper 来存储和管理 Kafka 的元数据信息和配置信息。注：以上这些都低版本 Kafka 依赖 ZooKeeper 实现的，在高版本 Kafka 中，已经摆脱了对 ZooKeeper 的强依赖。

Kafka系列之--kafka在zookeeper中的存储

weixin_42448883的博客

06-18

179

kafka在zookeeper中一些存储结构

Kevin.yang专栏

04-08

8512

本文主要查看kafka在zookeeper中的一些存储结构，便于更好的理解kafka的工作原理，其测试环境如下：kafka 0.8.1.1 zookeeper 3.4.51 Broker node 注册当一个kafka broker启动后,会向zookeeper注册自己的节点信息，该节点为一个临时节点，当当broker断开和zookeeper的连接时，其临时节点将会被删除。其路径为: /broker

kafka（zk）介绍及使用

weixin_39182877的博客

04-25

1686

1、分布式、高效、高容错的流式平台。 2、作为消息中间件，一般部署在流式组件前一个，业务高峰期，缓冲的作用。 3、消息是存储在zk上 4、zkCli.sh -server host:port 常用命令：（ls，rmr） 5、配置文件/kafka，创建一个文件夹 6、常用命令 ./kafka-topics.sh --creat --zookeeper --replication-

从kafka读取数据后数据会自动删除吗

热门推荐

tiger_Angle

06-18

1万+

不会，kafka中数据的删除跟有没有消费者消费完全无关。数据的删除，只跟kafka broker上面上面的这两个配置有关： 1 2 log.retention.hours=48#数据最多保存48小时 log.retention.bytes=1073741824#数据最多1G ...

kafka在zookeeper中存储结构

weixin_30872671的博客

07-07

245

1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brokerId列表...

Kafka深度讲解+Zookeeper存储

zhuhailong

10-29

1272

Kafka 深度讲解 + Zookeeper元数据存储

在Kafka3.7.0中进行SASL_SCRAM认证配置_不使用自带zookeeper

u010782920的博客

07-01

1706

kafka3.7.0 sasl_scram 使用单独下载的zookeeper

kafka不丢失数据与不重复消费数据

孙大迪迪的博客

01-12

1万+

一、不丢失数据 1.生产者数据不丢失同步模式：配置=1（只有Leader收到，-1所有副本成功，0不等待）。leader partition挂了，数据就会丢失。解决：设置为-1保证produce写入所有副本算成功　　　　　　　　　　producer.type=sync 　　　　　　　　　　request.required.acks=-1 异步模式，当缓冲区满了，如果配置为0（没有收到确认，一...

Kafka消息保留策略

Wengzhengcun的博客

11-01

6925

Kafka Broker默认的消息保留策略是：要么保留一定时间，要么保留到消息达到一定大小的字节数。当消息达到设置的条件上限时，旧消息就会过期并被删除，所以，在任何时刻，可用消息的总量都不会超过配置参数所指定的大小。 topic可以配置自己的保留策略，可以将消息保留到不再使用他们为止。因为在一个大文件里查找和删除消息是很费时的事，也容易出错，所以，分区被划分为若干个片段。默认情况下，...

Kubernetes部署单机版Kafka和Zookeeper教程

在 Kubernetes 中部署单机版 Kafka 和 Zookeeper 意味着我们需要创建一个包含 Kafka 和 Zookeeper 的 Pod，由于是单机模式，因此 Pod 内将同时运行 Kafka 和 Zookeeper 实例。 #### 使用 Kubernetes 部署 Kafka 和 ...