浅谈zk(6).zookeeper内部存储结构

最新推荐文章于 2024-07-22 14:13:19 发布

毛志荣

最新推荐文章于 2024-07-22 14:13:19 发布

阅读量864

点赞数

CC 4.0 BY-SA版权

分类专栏： zookeeper

本文链接：https://blog.youkuaiyun.com/maozhr720/article/details/76737510

zookeeper 专栏收录该内容

8 篇文章

订阅专栏

本文介绍了采用树形目录结构的数据存储方式，类似于Windows资源管理器的视图，每个节点包括文件或目录，并附带元信息如创建时间和权限设置。文章强调了节点的原子性操作、版本控制以及临时节点和持久化节点的区别。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

存储结构

采用树形目录结构，把它想象为windows 资源管理器就可以了。 每个节点上面有元信息，如创建时间、数据信息、数据长度、修改时间等。 和windows资源管理器一样，树上的节点可以是文件也可以目录。

特点

通过ACL可以设定权限访问

对每个目录或文件节点的操作具有原子性
每次对节点进行操作，节点中的版本号将增加
节点分为临时节点和持久化节点

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

毛志荣

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Zookeeper主要目录结构（大概了解，后续会有详细讲解）

qq_37432174的博客

07-27

2276

Zookeeper主要目录结构一、bin目录首先进入zookeeper下的bin目录文件夹 Bin目录下有很多命令： 1、 .cmd表示在windows下运行的，如果是在windows下运行zookeeper，则只需双击zkServer.cmd就可以运行 2、 .sh表示在linux下运行的，如果是在linux下运行zookeeper只需输入： ./zkServer.sh就可以运行；输...

以Zookeeper为例浅谈脑裂与奇数节点问题

datacreating的博客

07-19

1517

因此，对于6台服务器的集群，计算过半数需要的票数为 `half = 6 / 2 = 3`，意味着至少需要4票来成功选举出一个Leader。在某些情况下，为了确保集群中只有一个有效的领导者，可以采用磁盘锁或仲裁机制。② 若网络断开，机房1内的3台服务器可以通过内部投票选出一个Leader（因为3票已经超过了5台总数的半数，即2.5向上取整为3），而机房2因只有2台服务器，无法独立选举出Leader。此外，资源的浪费也是脑裂的一个重要影响，因为同一操作可能在多个分区中重复执行，消耗大量计算和存储资源。

参与评论您还未登录，请先登录后发表或查看评论

apache kafka系列之在zookeeper中存储结构

热门推荐

李志涛的专栏

04-15

3万+

1.topic注册信息 /brokers/topics/[topic] : Schema: { "fields" : [ {"name": "version", "type": "int", "doc": "version id"}, {"name": "partitions", "type": {"type": "ma

zookeeper - 数据存储结构（11）

weixin_34015566的博客

05-15

841

概述这是写zookeeper过程中最轻松的一篇文章了，因为zookeeper的data存储结构是比较简单的，所以整个文章也比较简单。 zookeeper数据结构首先zookeeper的核心保存结构是一个DataTree数据结构，其实内部是一个Map<String, DataNode...

dubbo的zk存储结构、线程模型、集群容错图解

大张

04-05

3547

zk存储结构 dubbo在zookeeper的存储结构如下图，其中流程大致分为： 1.消费者启动时在对应的servce目录下注册自己的ip节点地址； 2.生产者在启动时在对应的servce目录下注册自己的ip节点地址； 3.监控中心会订阅service目录下所有消费者和生产者的ip地址信息。线程模型 dubbo底层采用netty框架实现，它的线程模型就是连接接受线程池和业务线程池分开处理，是其不会相互干扰独立，职责单一，在高负载的情况下依然能迅速处理。 dubbo在rpc调用的时

ZooKeeper作用和存储结构

赵广陆

03-21

1316

目录一、 ZooKeeper 简介二、 ZooKeeper 的作用 1.1 配置管理 1.2 名字服务 1.3 分布式锁 1.4 集群管理三、 Zookeeper 的存储结构 3.1 Znode 3.2 Znode 节点类型 3.2.1 PERSISTENT 持久化节点: 3.2.2 PERSISTENT_SEQUENTIAL 持久顺序节点： 3.3.3 EPHEM...

浅谈Zookeeper【三】ZK中Leader选举算法

Yu_uuuuu的博客

06-27

1528

文章目录一、前言二、Leader选举基本概念集群服务节点状态 State：选票模型 Vote选举网络通信管理器 QuorumCnxManager三、Leader选举触发时机四、Leader选举过程集群初始化选举Leader宕机后选举五、新节点加入与选举规则新节点加入选举规则六、选举算法FastLeaderElection解析七、总结一、前言前面已经介绍过Zookeeper的基础知识以及ZAB协议的一些概念，其中ZAB协议中关键性的发现步骤，也就是Leader选举机制是如何完成的，在这里简单介绍一下。二

浅谈Zookeeper【一】Zookeeper基础知识介绍

Yu_uuuuu的博客

06-20

479

前言由于在实际工作中，几乎都是使用公司提供的基础服务或者采用开源的框架，很少与ZK实际打交道，对ZK的底层原理一知半解，无法将各个知识点串起来，所以打算记录下自己所了解的ZK，并且将学习回顾知识汇总。本文作为Zk系列知识的开篇，只介绍Zk的基本知识，附带提一嘴Zk的实际应用场景，不深入介绍原理。 Zookeeper介绍一、什么是Zookeeper Zookeeper是典型的为解决分布式一致性所带来的问题的方案组件，分布式应用可以基于zk来实现集群管理、服务注册、动态配置、负载均衡、分布式锁、发布订阅等

ZooKeeper-客户端连接ServerCnxn之NIOServerCnxn

pfjia的博客

06-25

5282

背景处理read事件发生时机思路处理write事件总结参考背景 ServerCnxn代表了一个客户端与一个server的连接,其有两种实现,分别是NIOServerCnxn和NettyServerCnxn,类图如下: 本文介绍ZooKeeper是如何通过NIOServerCnxn实现网络IO的. 处理read事件发生时机当连接上有数据...

Kaka与Zookeeper的爱恨情仇（——zookeeper过半选举机制）

lsx20010907的博客

09-05

779

kafka与zookeeper介绍（zookeeper过半选举机制）

【流式计算】Twitter Storm源代码分析之ZooKeeper中的目录结构

sunxinhere的专栏

09-10

1072

Zookeeper入门篇，了解ZK存储特点

战斧的博客

07-22

1万+

继上次说完 Zookeeper 的安装后，已经过去半年多了，一直没有后续，本次得空就更新一下入门篇，给同学们介绍一下 Zookeeper ，并着重说一下其存储原理

Zookeeper 详细介绍尤其树形结构（转）

dianqichuan5948的博客

12-18

671

http://www.superwu.cn/2014/11/26/1461/ 分布式服务框架 Zookeeper — 管理分布式环境中的数据 2014年11月26日⁄hadoop⁄1条评论本节本来是要介绍ZooKeeper的实现原理，但是ZooKeeper的原理比较复杂，它涉及到了paxos算法、Zab协议、通信协议等相关知识，理解起来比较抽象所以还需...

kafka原理：zookeeper中的存储结构讲解

kafka_zsxq的博客

12-06

536

在这里插入图片描述 /cluster /cluster/id 持久数据节点集群ID 当第一台Broker启动的时候, 发现/cluster/id不存在,那么它就会把自己的cluster.id配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一个集群; 数据示例：{"versio...

tbschedlue在zk服务器上的目录结构说明

hl_java的专栏

12-13

371

$rootpath --根目录 appname1 --应用名称 strategy --任务概要配置目录 baseTaskType --任务详情配置目录 factory --这个应用的全部服务器目录 appname2 --应用名称 strategy --任务概要配置目录 baseTaskType --任务

Zookeeper——数据结构与数据存储原理

庄小焱

12-22

2676

摘要 ZooKeeper 作为一个分布式协调服务，给出了在分布式环境下一致性问题的工业解决方案，目前流行的很多开源框架技术背后都有 ZooKeeper 的身影。那么 ZooKeeper 是如何做到这一点的，在平时开发中我们应该如何使用 ZooKeeper？要想了解这些问题，我们先要对 ZooKeeper 的基础知识进行全面的掌握。 ZooKeeper 基础知识基本分为三大模块：数据模型 ACL 权限控制 Watch 监控其中，数据模型是最重要的，很多 ZooKeeper 中典型的应用场景都是利

Zookeeper的目录结构

天高任鸟飞

08-03

3429

目录结构目录说明 bin目录存放的可执行文件使用命令都在bin目录下面 zkserver.cmd，是Windows下面的命令 Zkserver.sh，是Linux下面的命令 conf目录存放的配置文件 contrib目录存放扩展包 docs目录存放文档 lib目录存放jar包 Zookeeper是使用Java开发的，会用到很多jar包都存...

zookeeper学习（三）基础数据结构

GDFHGFHGFH的博客

07-31

1057

PERSISTENT_WITH_TTL：zookeeper的扩展类型，如果znode在给定的TTL内没有被修改，它将在没有子节点时被删除。PERSISTENT_SEQUENTIAL：持久序号节点，创建出的节点，根据创建先后顺序，会在节点后带一个数值，znode的名字将被附加一个单调递增的数字，越往后数值越大，适用于分布式锁的应用场景。在 zookeeper 中，可以说 zookeeper 中的所有存储的数据是由 znode 组成的，节点也称为 znode，并以 key/value 形式存储数据。

zookeeper详解（一） -- 基本结构

guchuanyun111的博客

08-02

1万+

1、zookeeper是什么 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop的重要组件，CDH版本中更是使用它进行Namenode的协调控制。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的

最新发布

03-21

<think>嗯，用户的问题是关于解决Kafka和ZooKeeper之间SASL认证失败的错误，具体是AuthFailedException，提示quorum member的saslToken为null。我需要仔细分析可能的原因，然后一步步给出解决方案。首先，根据用户提供的引用内容，特别是引用[2]中提到的问题，同一应用中同时存在Kafka的SASL登录和ZooKeeper的SSL连接，导致启动时报错，因为ZooKeeper配置被错误地应用了SASL参数。这说明可能是在配置过程中，Kafka和ZooKeeper的认证方式不一致，或者配置参数被混淆了。接下来，我需要回忆Kafka和ZooKeeper的认证机制。Kafka支持SASL认证，而ZooKeeper通常使用SSL或者自己的认证机制。如果Kafka配置了SASL，但ZooKeeper却需要SSL，这时候如果没有正确配置，可能会出现认证失败的问题。例如，引用[3]提到，Kafka使用SASL_PLAINTEXT或SASL_SSL，而ZooKeeper可能需要不同的配置。用户的问题中提到了saslToken为null，这可能是因为ZooKeeper没有正确接收到SASL令牌，或者配置中没有启用SASL。需要检查ZooKeeper的配置文件，比如zoo.cfg，是否启用了SASL相关的配置，如authProvider.1等。引用[4]中的参考文章可能提供了如何配置ZooKeeper的SASL认证的步骤。另外，引用[5]提到了使用kinit命令生成Kerberos凭证，这可能涉及到Kerberos认证的配置。如果Kafka和ZooKeeper使用的是Kerberos，那么需要确保keytab文件正确，并且服务主体名称（SPN）配置正确。这可能涉及到JAAS配置文件的设置，如KafkaServer和Client的部分是否正确指向了keytab和principal。可能的步骤包括： 1. 检查ZooKeeper的配置文件是否启用了SASL认证，确保authProvider相关配置正确。 2. 确认Kafka的JAAS配置文件是否正确设置了ZooKeeper的认证部分，比如Client的配置。 3. 检查环境变量，如SERVER_JVMFLAGS是否包含SASL相关的参数，确保ZooKeeper启动时加载了SASL配置。 4. 确保所有节点的时间同步，避免Kerberos认证因时间不同步失败。 5. 查看日志文件，确认具体的错误信息，帮助定位问题。还需要注意，Kafka和ZooKeeper的版本是否兼容，某些配置可能在较新或较旧的版本中有不同的处理方式。此外，用户的环境变量设置是否正确，尤其是在同时使用SSL和SASL的情况下，可能需要特别处理，避免配置冲突。最后，根据引用中的解决方案，可能需要同时配置ZooKeeper的SSL和SASL，或者调整Kafka的连接参数，确保使用正确的认证方式连接到ZooKeeper。例如，引用[2]中的用户通过正确设置环境变量解决了问题，这可能涉及到在启动应用时传递正确的JVM参数，指定ZooKeeper的认证方式。</think>### Kafka与ZooKeeper SASL认证失败问题解决步骤 #### 1. **确认ZooKeeper的SASL配置** - **检查ZooKeeper配置文件（`zoo.cfg`）**： ``` authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider requireClientAuthScheme=sasl ``` 确保ZooKeeper已明确启用SASL认证[^4]。 - **配置JAAS文件（如`zk_server_jaas.conf`）**： ``` Server { org.apache.zookeeper.server.auth.DigestLoginModule required user_kafka="kafka-password"; }; ``` 此文件定义ZooKeeper服务端的认证凭证，需通过环境变量指定路径： ```bash export SERVER_JVMFLAGS="-Djava.security.auth.login.config=/path/to/zk_server_jaas.conf" ``` #### 2. **调整Kafka的ZooKeeper客户端配置** - **修改Kafka的JAAS文件（如`kafka_server_jaas.conf`）**： ``` Client { org.apache.zookeeper.server.auth.DigestLoginModule required username="kafka" password="kafka-password"; }; ``` 需在Kafka启动脚本中添加JVM参数： ```bash export KAFKA_OPTS="-Djava.security.auth.login.config=/path/to/kafka_server_jaas.conf" ``` #### 3. **同步认证模式与协议** - **若ZooKeeper使用SSL而Kafka使用SASL**，需在Kafka配置中明确指定ZooKeeper连接协议： ```properties # 在server.properties中强制使用SSL zookeeper.ssl.client=true zookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty ``` 避免SASL参数被错误传递到ZooKeeper（常见于混合环境）[^2]。 #### 4. **验证Kerberos凭证（如适用）** - 若使用Kerberos，执行`kinit`命令确保凭证有效： ```bash kinit -kt /etc/security/keytabs/kafka.service.keytab kafka/your-host@REALM ``` 检查keytab文件权限及服务主体名称（SPN）是否匹配[^5]。 #### 5. **排查网络与时间同步问题** - 使用`ntpdate`同步集群时间，避免Kerberos因时间偏差导致认证失败。 - 通过`telnet`或`nc`检查ZooKeeper端口（如2181）是否可达。 #### 6. **日志分析** - **检查ZooKeeper日志**：定位`AuthFailedException`具体原因，如凭证不匹配或协议冲突。 - **查看Kafka启动日志**：确认是否加载了正确的JAAS文件，例如： ``` INFO [main] zookeeper.ZooKeeper: Initiating client connection, connectString=... sessionTimeout=... ``` ### 关键配置对比表 | 组件 | 配置项 | 示例值 | 作用 | |------------|-------------------------|---------------------------------------------|-------------------------------| | ZooKeeper | `authProvider.1` | `org.apache.zookeeper.server.auth.SASLAuthenticationProvider` | 启用SASL认证 | | Kafka | `zookeeper.ssl.client` | `true` | 强制Kafka使用SSL连接ZooKeeper | | 环境变量 | `SERVER_JVMFLAGS` | `-Djava.security.auth.login.config=...` | 指定ZooKeeper JAAS文件路径 | ### 常见错误场景 1. **saslToken为null**：ZooKeeper未启用SASL或JAAS文件未加载，需检查`zoo.cfg`和JVM参数。 2. **协议冲突**：Kafka误将SASL参数传递给ZooKeeper的SSL端口，需显式设置`zookeeper.ssl.client=true`。 3. **凭证过期**：Kerberos ticket需定期更新，可通过`klist`验证有效期。