浅谈zk(6).zookeeper内部存储结构

最新推荐文章于 2024-07-22 14:13:19 发布
原创 最新推荐文章于 2024-07-22 14:13:19 发布 · 864 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了采用树形目录结构的数据存储方式，类似于Windows资源管理器的视图，每个节点包括文件或目录，并附带元信息如创建时间和权限设置。文章强调了节点的原子性操作、版本控制以及临时节点和持久化节点的区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

存储结构
采用树形目录结构，把它想象为windows 资源管理器就可以了。 每个节点上面有元信息，如创建时间、数据信息、数据长度、修改时间等。 和windows资源管理器一样，树上的节点可以是文件也可以目录。

特点
  • 每个目录或文件节点上面都有ACL
通过ACL可以设定权限访问
  • 对每个目录或文件节点的操作具有原子性
  • 每次对节点进行操作，节点中的版本号将增加
  • 节点分为临时节点和持久化节点
Zookeeper主要目录结构（大概了解，后续会有详细讲解）
qq_37432174的博客
07-27 2276
Zookeeper主要目录结构 一、bin目录 首先进入zookeeper下的bin目录文件夹 Bin目录下有很多命令： 1、 .cmd表示在windows下运行的，如果是在windows下运行zookeeper，则只需双击zkServer.cmd就可以运行 2、 .sh表示在linux下运行的，如果是在linux下运行zookeeper只需输入： ./zkServer.sh就可以运行； 输...
以Zookeeper为例 浅谈脑裂与奇数节点问题
datacreating的博客
07-19 1517
因此，对于6台服务器的集群，计算过半数需要的票数为 `half = 6 / 2 = 3`，意味着至少需要4票来成功选举出一个Leader。在某些情况下，为了确保集群中只有一个有效的领导者，可以采用磁盘锁或仲裁机制。② 若网络断开，机房1内的3台服务器可以通过内部投票选出一个Leader（因为3票已经超过了5台总数的半数，即2.5向上取整为3），而机房2因只有2台服务器，无法独立选举出Leader。此外，资源的浪费也是脑裂的一个重要影响，因为同一操作可能在多个分区中重复执行，消耗大量计算和存储资源。
apache kafka系列之在zookeeper中存储结构
热门推荐
李志涛的专栏
04-15 3万+
1.topic注册信息 /brokers/topics/[topic] : Schema: { "fields" :     [ {"name": "version", "type": "int", "doc": "version id"},       {"name": "partitions",        "type": {"type": "ma
zookeeper - 数据存储结构（11）
weixin_34015566的博客
05-15 841
概述 这是写zookeeper过程中最轻松的一篇文章了，因为zookeeper的data存储结构是比较简单的，所以整个文章也比较简单。 zookeeper数据结构 首先zookeeper的核心保存结构是一个DataTree数据结构，其实内部是一个Map<String, DataNode...
dubbo的zk存储结构、线程模型、集群容错图解
大张
04-05 3547
zk存储结构 dubbo在zookeeper的存储结构如下图， 其中流程大致分为： 1.消费者启动时在对应的servce目录下注册自己的ip节点地址； 2.生产者在启动时在对应的servce目录下注册自己的ip节点地址； 3.监控中心会订阅service目录下所有消费者和生产者的ip地址信息。 线程模型 dubbo底层采用netty框架实现，它的线程模型就是连接接受线程池和业务线程池分开处理，是其不会相互干扰独立，职责单一，在高负载的情况下依然能迅速处理。 dubbo在rpc调用的时
ZooKeeper作用和存储结构
赵广陆
03-21 1316
目录 一、 ZooKeeper 简介 二、 ZooKeeper 的作用 1.1 配置管理 1.2 名字服务 1.3 分布式锁 1.4 集群管理 三、 Zookeeper 的存储结构 3.1 Znode 3.2 Znode 节点类型 3.2.1 PERSISTENT 持久化节点: 3.2.2 PERSISTENT_SEQUENTIAL 持久顺序节点： 3.3.3 EPHEM...
浅谈Zookeeper【三】ZK中Leader选举算法
Yu_uuuuu的博客
06-27 1528
文章目录一、前言二、Leader选举基本概念集群服务节点状态 State：选票模型 Vote选举网络通信管理器 QuorumCnxManager三、Leader选举触发时机四、Leader选举过程集群初始化选举Leader宕机后选举五、新节点加入与选举规则新节点加入选举规则六、选举算法FastLeaderElection解析七、总结 一、前言 前面已经介绍过Zookeeper的基础知识以及ZAB协议的一些概念，其中ZAB协议中关键性的发现步骤，也就是Leader选举机制是如何完成的，在这里简单介绍一下。 二
浅谈Zookeeper【一】Zookeeper基础知识介绍
Yu_uuuuu的博客
06-20 479
前言 由于在实际工作中，几乎都是使用公司提供的基础服务或者采用开源的框架，很少与ZK实际打交道，对ZK的底层原理一知半解，无法将各个知识点串起来，所以打算记录下自己所了解的ZK，并且将学习回顾知识汇总。 本文作为Zk系列知识的开篇，只介绍Zk的基本知识，附带提一嘴Zk的实际应用场景，不深入介绍原理。 Zookeeper介绍 一、什么是Zookeeper Zookeeper是典型的为解决分布式一致性所带来的问题的方案组件，分布式应用可以基于zk来实现集群管理、服务注册、动态配置、负载均衡、分布式锁、发布订阅等
ZooKeeper-客户端连接ServerCnxn之NIOServerCnxn
pfjia的博客
06-25 5282
背景 处理read事件 发生时机 思路 处理write事件 总结 参考 背景 ServerCnxn代表了一个客户端与一个server的连接,其有两种实现,分别是NIOServerCnxn和NettyServerCnxn,类图如下: 本文介绍ZooKeeper是如何通过NIOServerCnxn实现网络IO的. 处理read事件 发生时机 当连接上有数据...
Kaka与Zookeeper的爱恨情仇（——zookeeper过半选举机制）
lsx20010907的博客
09-05 779
kafka与zookeeper介绍（zookeeper过半选举机制）
【流式计算】Twitter Storm源代码分析之ZooKeeper中的目录结构
sunxinhere的专栏
09-10 1072
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 转自网址: http://xumingming.sinaapp.com/466/twitter-storm-code-analysis-zookeeper-dirs/   我们知道Twitter Storm的所有的状态信息都是保存在Zookeeper里面，nimbus通过在zooke
Zookeeper入门篇，了解ZK存储特点
战斧的博客
07-22 1万+
继上次说完 Zookeeper 的安装后，已经过去半年多了，一直没有后续，本次得空就更新一下入门篇，给同学们介绍一下 Zookeeper ，并着重说一下其存储原理
Zookeeper 详细介绍 尤其树形结构 （转）
dianqichuan5948的博客
12-18 671
http://www.superwu.cn/2014/11/26/1461/ 分布式服务框架 Zookeeper — 管理分布式环境中的数据 2014年11月26日⁄hadoop⁄1条评论 本节本来是要介绍ZooKeeper的实现原理，但是ZooKeeper的原理比较复杂，它涉及到了paxos算法、Zab协议、通信协议等相关知识，理解起来比较抽象所以还需...
kafka原理：zookeeper中的存储结构讲解
kafka_zsxq的博客
12-06 536
在这里插入图片描述 /cluster /cluster/id 持久数据节点 集群ID 当第一台Broker启动的时候, 发现/cluster/id不存在,那么它就会把自己的cluster.id配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一个集群; 数据示例：{"versio...
tbschedlue在zk服务器上的目录结构说明
hl_java的专栏
12-13 371
$rootpath --根目录 appname1 --应用名称 strategy --任务概要配置目录 baseTaskType --任务详情配置目录 factory --这个应用的全部服务器目录 appname2 --应用名称 strategy --任务概要配置目录 baseTaskType --任务
Zookeeper——数据结构与数据存储原理
庄小焱
12-22 2676
摘要 ZooKeeper 作为一个分布式协调服务，给出了在分布式环境下一致性问题的工业解决方案，目前流行的很多开源框架技术背后都有 ZooKeeper 的身影。那么 ZooKeeper 是如何做到这一点的，在平时开发中我们应该如何使用 ZooKeeper？要想了解这些问题，我们先要对 ZooKeeper 的基础知识进行全面的掌握。 ZooKeeper 基础知识基本分为三大模块： 数据模型 ACL 权限控制 Watch 监控 其中，数据模型是最重要的，很多 ZooKeeper 中典型的应用场景都是利
Zookeeper的目录结构
天高任鸟飞
08-03 3429
目录结构 目录说明 bin目录 存放的可执行文件 使用命令 都在bin目录下面 zkserver.cmd，是Windows下面的命令 Zkserver.sh，是Linux下面的命令 conf目录 存放的配置文件 contrib目录 存放扩展包 docs目录 存放文档 lib目录 存放jar包 Zookeeper是使用Java开发的，会用到很多jar包 都存...
zookeeper学习（三）基础数据结构
GDFHGFHGFH的博客
07-31 1057
PERSISTENT_WITH_TTL：zookeeper的扩展类型，如果znode在给定的TTL内没有被修改，它将在没有子节点时被删除。PERSISTENT_SEQUENTIAL：持久序号节点，创建出的节点，根据创建先后顺序，会在节点后带一个数值，znode的名字将被附加一个单调递增的数字，越往后数值越大，适用于分布式锁的应用场景。在 zookeeper 中，可以说 zookeeper 中的所有存储的数据是由 znode 组成的，节点也称为 znode，并以 key/value 形式存储数据。
zookeeper详解（一） -- 基本结构
guchuanyun111的博客
08-02 1万+
1、zookeeper是什么 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop的重要组件，CDH版本中更是使用它进行Namenode的协调控制。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的
[2025-03-20 21:51:58,020] ERROR SASL authentication failed using login context 'Client' with exception: {} (org.apache.zookeeper.client.ZooKeeperSaslClient) javax.security.sasl.SaslException: Error in authenticating with a Zookeeper Quorum member: the quorum member's saslToken is null. at org.apache.zookeeper.client.ZooKeeperSaslClient.createSaslToken(ZooKeeperSaslClient.java:279) at org.apache.zookeeper.client.ZooKeeperSaslClient.respondToServer(ZooKeeperSaslClient.java:242) at org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:805) at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:94) at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:366) at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1141) [2025-03-20 21:51:58,027] ERROR [ZooKeeperClient Kafka server] Auth failed. (kafka.zookeeper.ZooKeeperClient) [2025-03-20 21:51:58,109] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) org.apache.zookeeper.KeeperException$AuthFailedException: KeeperErrorCode = AuthFailed for /consumers at org.apache.zookeeper.KeeperException.create(KeeperException.java:126) at org.apache.zookeeper.KeeperException.create(KeeperException.java:54) at kafka.zookeeper.AsyncResponse.maybeThrow(ZooKeeperClient.scala:560) at kafka.zk.KafkaZkClient.createRecursive(KafkaZkClient.scala:1610) at kafka.zk.KafkaZkClient.makeSurePersistentPathExists(KafkaZkClient.scala:1532) at kafka.zk.KafkaZkClient.$anonfun$createTopLevelPaths$1(KafkaZkClient.scala:1524) at kafka.zk.KafkaZkClient.$anonfun$createTopLevelPaths$1$adapted(KafkaZkClient.scala:1524) at scala.collection.immutable.List.foreach(List.scala:392) at kafka.zk.KafkaZkClient.createTopLevelPaths(KafkaZkClient.scala:1524) at kafka.server.KafkaServer.initZkClient(KafkaServer.scala:388) at
最新发布
03-21
嗯，用户的问题是关于解决Kafka和ZooKeeper之间SASL认证失败的错误，具体是AuthFailedException，提示quorum member的saslToken为null。我需要仔细分析可能的原因，然后一步步给出解决方案。 首先，根据用户提供的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值