Zookeeper重要知识点梳理

超详细梳理HBase核心知识点(上) 阅读详情

目录

一、zoo.cfg参数

二、集群角色

三、节点结构

四、节点类型

五、Stat数据结构

六、Watcher机制


Zookeeper是具有高可用、高性能、一致性的开源协调服务框架,它提供了一些基本服务:统一命名服务、布式协调、存储数据、监听与通知等功能。

官网:http://zookeeper.apache.org/

源码:https://github.com/apache/zookeeper

一、zoo.cfg参数

参数

意义

tickTime

2000

syncLimit

Leader和follower之间的通讯时长 最长不能超过initLimt*ticktime

initLimt

接受客户端链接zk初始化的最长等待心跳时长 initLimt*ticktime

dataDir

数据目录

dataLogDir

日志文件

clientPort

客户端链接服务端端口号

Server.A=B:C:D

A:第几号服务器 B服务IP C代表Leader和follower通讯端口 D备用选leader端口

二、集群角色

ZooKeeper有3种集群角色:Leader、Follower、Observer 。

Leader:

Leader作为整个ZooKeeper集群的主节点,负责响应所有对ZooKeeper状态变更的请求。它会将每个状态更新请求进行排序和编号,以便保证整个集群内部消息处理的FIFO,写操作都走leader,zk里面leader只有一个。

Follower :
Follower的逻辑就比较简单了。除了响应本服务器上的读请求外,follower还要处理leader的提议,并在leader提交该提议时在本地也进行提交。另外需要注意的是,leader和follower构成ZooKeeper集群的法定人数,也就是说,只有他们才参与新leader的选举、响应leader的提议。 帮助leader处理读请求,没有写请求,有投票权。

Observer :
如果ZooKeeper集群的读取负载很高,或者客户端多到跨机房,可以设置一些observer服务器,以提高读取的吞吐量。Observer和Follower比较相似,只有一些小区别:首先observer不属于法定人数,即不参加选举也不响应提议;其次是observer不需要将事务持久化到磁盘,一旦observer被重启,需要从leader重新同步整个名字空间。 可以处理读请求,没有写请求,没有投票权利。

三、节点结构

ZooKeeper操作和维护的为一个个数据节点,称为 znode,采用类似文件系统的层级树状结构进行管理。如果 znode 节点包含数据则存储为字节数组(byte array)。节点名称不能重复。

四、节点类型

ZooKeeper 共有 4 种节点类型,默认是PERSISTENT类型,对应的源码:org.apache.zookeeper.CreateMode

PERSISTENT:持久类型,如果不手动删除节点一直存在

EPHEMERAL:临时类型,客户端session失效就会随着删除节点,临时节点不能有子节点

PERSISTENT_SEQUENTIAL:持久有序类型,如果不手动删除节点一直存在,节点名称有序自增

EPHEMERAL_SEQUENTIAL:临时有序类型,客户端session失效就会随着删除节点,临时节点不能有子节点,节点名称有序自增

五、Stat数据结构

Stats数据结构包括状态信息、版本、权限相关属性,记录 ZNode 的三个数据版本,分别是version(当前ZNode的版本)、cversion(当前ZNode子节点的版本)和aversion(当前ZNode的ACL版本)。对应源码:org.apache.zookeeper.data.Stat。

属性含义如下:

状态属性

说明

czxid

节点创建时的zxid

mzxid

节点最新一次更新发生时的zxid

ctime

节点创建时的时间戳.

mtime

节点最新一次更新发生时的时间戳.

dataVersion

 节点数据的更新次数.

cversion

其子节点的更新次数

aclVersion

节点ACL(授权信息)的更新次数.

 

ephemeralOwner

如果该节点为ephemeral节点, ephemeralOwner值表示与该节点绑定的session id. 如果该节点不是ephemeral节点, ephemeralOwner值为0. 至于什么是ephemeral节点

 

dataLength

节点数据的字节数.

numChildren

子节点个数.

ls2、get、set命令会当前节点的Stats数据结构。

六、Watcher机制

Watcher(事件监听器),是Zookeeper中的一个很重要的特性。Zookeeper允许用户在指定节点上注册一些Watcher,并且在一些特定事件触发的时候,ZooKeeper服务端会将事件通知到感兴趣的客户端上去,该机制是Zookeeper实现分布式协调服务的重要特性。对应的源码:org.apache.zookeeper.Watcher。

KeeperState

EventType

触发条件

说明

操作

SyncConnected(3)

None(-1)

客户端与服务端成功建立连接

此时客户端和服务器处于连接状态

 

NodeCreated(1)

Watcher监听的对应数据节点被创建

Create

NodeDeleted(2)

Watcher监听的对应数据节点被删除

Delete/znode

 

NodeDataChanged(3)

Watcher监听的对应数据节点的数据内容发生变更

setDate/znode

NodeChildChanged(4)

Wather监听的对应数据节点的子节点列表发生变更

Create/child

Disconnected(0)

None(-1)

客户端与ZooKeeper服务器断开连接

此时客户端和服务器处于断开连接状态

 

Expired(-112)

None(-1)

会话超时

此时客户端会话失效,通常同时也会受到SessionExpiredException异常

 

AuthFailed(4)

None(-1)

通常有两种情况,1:使用错误的schema进行权限检查 2:SASL权限检查失败

通常同时也会收到AuthFailedException异常

 

 

 

QT | QT打包生成单个EXE文件 1.以release方式运行程序 2.在release文件夹中找到.exe文件 如果没有找到exe,可能是因为在项目中勾选了shadow build,你可以在构建目录中找到exe 3.将exe放在一个新建的文件夹中,因为待会儿会生成很多dll文件 4.点击电脑左下角搜索QT,打开Qt 5.8 for Desktop (MinGQW 5.3.0 32bit) 5.进入刚刚新建的文件夹,输入wi... 阅读详情

相关推荐

机器学习系列(3)_逻辑回归应用之Kaggle泰坦尼克之灾

f作者: 寒小阳 &&龙心尘 时间:2015年10月。 出处: 声明:版权所有,转载请注明出处,谢谢。手把手机器学习之逻辑回归应用——Kaggle泰坦尼克之灾1.引言先说一句,年末双十一什么的一来,真是非(mang)常(cheng)欢(gou)乐(le)!然后push自己抽出时间来写这篇blog的原因也非常简单: 写完前两篇逻辑回归的介绍和各个角度理解之后,小伙伴们纷纷表示『好像很高级的样纸,

寒小阳 43万+

Zookeeper的CreateMode

Zookeeper中有四种CreateMode, 分为两类, 持久化节点和临时节点 , 自动编号节点和非自动编号节点 . PERSISTENT 持久化目录节点, 会话结束存储数据不会丢失 PERSISTENT_SEQUENTIAL 顺序自动编号持久化目录节点, 存储数据不会丢失, 会根据当前已存在节点数自动加1, 然后返回给客户端已经创建成功的节点名 . EPHEMERAL 临时目

梅老板的博客 3642

表格数据学习的图神经网络综述

今天学习一篇发表在中科院一区期刊《ACM Computing Surveys》的综述文章《Graph Neural Networks for Tabular Data Learning: A Survey with Taxonomy & Directions》,该刊主要刊载计算机理论方法领域的系统性综述与教程论文,注重跨学科技术融合研究,最新的影响因子为28.0。本文的目的在于通过学习这篇文章,了解关于表格数据学习点图神经网络一些基础知识。

qq_41009600的博客 802

ZooKeeper目录节点形式CreateMode

ZooKeeper有四种形式的目录节点,即四种CreateMode,两大类,持久化节点与临时节点,自动编号节点与非自动编号节点,两两组合,分别如下: 1、PERSISTENT 持久化目录节点,存储的数据不会丢失。 2、PERSISTENT_SEQUENTIAL 顺序自动...

weixin_34255793的博客 491

告别GIS软件!用R语言ggplot2+ggmapcn绘制出版级世界地图(附5种投影对比图)

本文提供了一份完整的实践指南,教你如何利用R语言及其强大的ggplot2生态系统,结合ggmapcn包,绘制出出版级的世界地图。文章详细对比了五种经典地图投影(如摩尔维德、罗宾森投影)的代码实现与视觉差异,并讲解了如何添加比例尺、指北针等专业元素,最终导出高清PDF,实现从数据分析到专业可视化的全流程代码化操作,彻底告别传统GIS软件。

p5l2m9n4o6q的博客 410

开源WorkBuddy实战课:从零搭建AI Agent办公自动化工作台

AI Agent作为大语言模型之上的智能体,正在重塑办公效率。它通过工具调用、任务规划与长期记忆,将被动问答升级为主动执行。WorkBuddy作为图形化智能体工作台,降低了搭建门槛,让非技术人员也可配置自动化流程。本文开源整套实战资料,涵盖JDK环境配置、模型接入、日报邮件处理、表格清洗、批量文档生成等场景,并讲解自定义指令、Skills扩展与MCP协议。从基础概念到工程实践,帮助读者快速上手,构建属于自己的办公自动化助手。

weixin_29083475的博客 226

ZooKeeper学习笔记二

实战使用 ZooKeeper框架的安装 1. 下载并tar开解压(略) 2. 创建配置文件 创建conf/zoo.cfg 配置文件 tickTime=2000 dataDir=/var/lib/zookeeper clientPort=2181  参数说明: tickTime: zookeeper中使用的基本时间单位, 毫秒值. dataDir: 数据目录. 可以是任意目录. da...

CrankZ的博客 472

Ships Dataset:解锁海洋探索的数字宝库

在海上交通管理中,通过对船舶的持续跟踪,可以及时发现船舶的异常行为,如偏离航线、超速等,保障海上航行的安全。例如,通过分析船舶的航行数据和位置信息,合理安排船舶的停靠时间和装卸货物顺序,避免港口拥堵,提高船舶的周转率。同时,还精确标注了船舶在图像中的位置坐标,通过这些坐标,我们可以准确地定位船舶在图像中的具体位置,为后续的分析和处理提供了精确的依据。从繁忙运输货物的货船,到承载着能源使命的油轮,再到穿梭于海洋寻找鱼群的渔船 ,每一种船舶都有着独特的外形和功能,在数据集中留下了它们的身影。

qq_38220914的博客 1269

zookeeper使用篇-Zookeeper Api实践

**data[]**是创建节点的时候对应存储的内容acl是创建节点的时候的策略createMode是创建节点的时候指定的节点类型,通常指定四种类型(实际不止):1.持久化节点–PERSISTENT2.持久化顺序节点–PERSISTENT _ S E QUENTIAL3.临时节点–EPHEMERAL4.临时顺序节点-- EPHEMERAL _ S EQUENTIALcb是注册一个异步回调函数,类型为StringCallback,一般重写void processResult( int rc , String

2401_84873965的博客 428

Frida实战:从adb连接到安卓设备参数加密Hook全流程解析

本文详细解析了使用Frida进行安卓应用动态分析的全流程。通过adb连接设备并部署Frida服务端,结合静态分析与动态Hook技术,精准定位并拦截关键函数,特别是针对参数加密等核心逻辑的实时监控与修改,为逆向分析与安全研究提供了高效实战方案。

weixin_29208077的博客 343

NSGA-II 多目标优化 —— 理论、案例与交互式 GUI 实现

本文详细介绍了 NSGA-II 多目标优化算法的基本原理、数学模型和实现流程。从非支配排序、拥挤距离计算到遗传操作,NSGA-II 通过对种群进行分层和排序,能够有效求解多目标优化问题,获得 Pareto 前沿解集。通过机械结构优化、资源分配和控制参数调优等典型案例,我们展示了 NSGA-II 在实际工程中的广泛应用。为帮助工程师和研究者更直观地理解算法求解过程,本文提供了基于 Python 与 PyQt6 的交互式 GUI 演示系统代码示例。

闲人编程的博客 2122

zookeeper基本操作

zookeeper基本操作

小小唐僧的博客 1580

【教程4>第2章>第18节】 GMSK调制系统的FPGA开发与matlab对比验证

GMSK(高斯最小频移键控)是一种连续相位的频移键控(CPFSK)调制方法,它在数字通信中得到了广泛应用,特别是在移动通信系统中。GMSK通过限制频率偏差的累积来减少带外辐射,并通过使用高斯滤波器对。

FPGA/MATLAB学习教程/源码/项目合作开发 998

Zookeeper知识点梳理

1:了解Zookeeper的概念2:了解分布式的概念​ ZooKeeper从字面意思理解,【Zoo - 动物园,Keeper - 管理员】动物园中有很多种动物,这里的动物就可以比作分布式环境下多种多样的服务,而ZooKeeper做的就是管理这些服务。​ Apache ZooKeeper的系统为分布式协调是构建分布式应用的高性能服务。​ ZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。

qq_44794280的博客 878

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

zookeeper知识点梳理

崩溃恢复和消息⼴播进⼊崩溃恢复模式当整个服务框架启动过程中,或者是Leader服务器出现⽹络中断、崩溃退出或重启等异常情况时,ZAB协议就会进⼊崩溃恢复模式,同时选举产⽣新的Leader服务器。当选举产⽣了新的Leader服务器,同时集群中已经有过半的机器与该Leader服务器完成了状态同步之后,ZAB协议就会退出恢复模式,其中,所谓的状态同步 就是指数据同步,⽤来保证集群中过半的机器能够和Leader服务器的数据状态保持⼀致进⼊消息⼴播模式。

kitty_hi的博客 572

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

zookeeper-梳理及知识点解析

zookeeper-梳理及知识点解析-第一节 1.基础知识点必知会 1.1 zookeeper的特征及保证 1.2 zookeeper数据结构 zookeeper是一个目录树结构,每个节点只能存1MB大小数据,不要把zookeeper当作数据库使用,类型可分持久节点和临时节点,每个节点都可以序列化。 cZxid = 0x10e00000298 ctime = Mon Jul 19 17:01:13 CST 2021 mZxid = 0x10e00000298 mtime = Mon Jul 19 17:0

10年老JAVA大数据技术人的专栏 1068

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

Zookeeper相关知识点梳理

目录一、Zookeeper入门1.ZK的数据模型2.ZK的watch机制3.ZK的特性二、Zookeeper应用场景1.ZK实现配置中心2.ZK实现命令服务3.ZK实现Master选举4.ZK实现分布式队列5.ZK实现分布式锁三、Zookeeper集群1.ZK集群基本概念2.ZK集群ZAB协议3.ZK集群Leader选举四、分布式一致性协议 一、Zookeeper入门 1.ZK的数据模型 2.ZK的watch机制 3.ZK的特性 二、Zookeeper应用场景 1.ZK实现配置中心 2.ZK实现命令服务 3

chenzihao36的博客 473

zookeeper知识点原理梳理

1、zookeeper是什么 zookeeper是一个分布式的,开发源码的分布式应用程序协调服务,它是集群的管理者,监视着集群的各个节点根据节点提交的反馈进行下一步合理的操作 2、zookeeper提供了什么 文件系统、通知机制 3、zookeeper文件系统 zookeeper提供一个多层次节点的命名空间(节点名称叫znode),与文件系统不同的是,这些节点都可以设置关联 的数据,zo...

hnjsjsac的博客 500

zookeeper知识点梳理,面试必看

1、zookeeper是什么zookeeper是一个分布式的,开发源码的分布式应用程序协调服务,它是集群的管理者,监视着集群的各个节点根据节点提交的反馈进行下一步合理的操作2、zookee...

hnjsjsac的博客 148

知识点梳理-zookeeper

不瘦十斤不换名字 266

Zookeeper知识点简单梳理(一)

最近在梳理Zookeeper的知识点,学过总会忘,好记性不如烂笔头~以下是zookeeper涉及知识点的简单梳理,点到为止,日后必会完善。 zookeeper是什么 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。 Zookeeper能做什么? 实现如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、配置维护,名字服务、分布式...

adrian_123的博客 736

【zookeeper知识点梳理(一)】

第一次启动非第一次启动。

m0_48590589的博客 171

zookeeper-梳理及知识点解析-paxos算法解析

zookeeper-梳理及知识点解析-paxos算法解析 1.zookeeper服务器之间的网络连接图 准备三台zookeeper服务器,分别是node231,node240和node71,并且node240是leader, 我们使用命令netstat -natp | egrep ‘(2888|3888)’,查看网络连接情况。 从上图,可以画出3888网络连接图 端口2888的网络连接图 端口2888:leader接受write请求 端口3888:选主投票使用 熟悉了网络连接图,下面我们来看下pa

10年老JAVA大数据技术人的专栏 272

大数据生态之zookeeper(知识点梳理)

1.zookeeper介绍 (1)zookeeper简介: Zookeeper是一个分布式的,开放源代码的分布式应用程序协调服务,是Google的chubby一个开源的实现。 它提供了简单原始的功能,分布式应用可以基于它实现更高的服务,比如分布式同步,配置管理,集群管理, 命名管理,队列管理。它被设计为易与编程,使用文件系统目录...

weixin_33851429的博客 239

Zookeeper知识点总结-脑图展示

伟红-long-term 645

大数据总结路线梳理

并发工具包复习重点 阻塞队列 ArrayBlockingQueue,LinkedBlockQueue。 ConcurrentHashMap 和HashTable对比。线程安全,性能高。 老版本引入分段锁(桶)机制(16)。 新版本引入CAS(无锁算法 Compare And Swap)+链表变为红黑树。 CountDownLatch 线程递减锁(闭锁)。 线程池ThreadPool。小池子大队列...

压缩疯雷的博客 340
上一篇: Zookeeper常见命令
apereo
博客等级 码龄11年 1粉丝 9原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值