Zookeeper特性与节点数据类型

分布式系统

指的是分布在不同网络或计算机上的程序组件，彼此通过信息传递来协同工作的系统，而Zookeeper正是一个分布式应用协调框架，在分布式系统架构中有广泛的应用场景。

Zookeeper

它是一个分布式协调框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等

核心概念

文件系统数据结构

维护一个类似文件系统的数据结构，每个子目录项都被称作为 znode(目录节点)，和文件系统类似，创建时可以有多级目录和子目录，能自由的增加、删除 znode，并在一个znode下增加、删除子znode。

znode的类型

1、PERSISTENT­持久化目录节点

客户端与zookeeper断开连接后，该节点依旧存在，只要不手动删除该节点，他将永远存在

2、 PERSISTENT_SEQUENTIAL­持久化顺序编号目录节点

客户端与zookeeper断开连接后，该节点依旧存在，只是Zookeeper给该节点名称进行顺序编号

3、EPHEMERAL­临时目录节点

客户端与zookeeper断开连接后，该节点被删除

4、EPHEMERAL_SEQUENTIAL­临时顺序编号目录节点

客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号

5. Container 节点

3.5.3 版本新增，如果Container节点下面没有子节点，则Container节点在未来会被Zookeeper自动清除,定时任务默认60s 检查一次

6. TTL 节点

默认禁用，只能通过系统配置 zookeeper.extendedTypesEnabled=true 开启，不稳定

监听通知机制

客户端注册监听它关心的任意节点，或者目录节点及递归子目录节点

• 若注册的是对某个节点的监听，则当这个节点被删除，或者被修改时，对应的客户端将被通知
• 若注册的是对某个目录的监听，则当这个目录有子节点被创建，或有子节点被删除，对应的客户端将被通知
• 若注册的是对某个目录的递归子节点进行监听，则当这个目录下面的任意子节点有目录结构的变化（有子节点被创建，或被删除）或者根节点有数据变化时，对应的客户端将被通知。

注意：所有的通知都是一次性的，及无论是对节点还是对目录进行的监听，一旦触发，对应的监听即被移除。递归子节点，监听是对所有子节点的，所以，每个子节点下面的事件同样只会被触发一次。

经典应用场景

• 分布式配置中心
• 分布式注册中心
• 分布式锁
• 分布式队列
• 集群选举
• 分布式屏障
• 发布/订阅

Zookeeper 实战

准备工作

为了后期的使用，此次先将centos上自带的openjdk卸载

卸载openjdk

1.查看jdk版本

查看版本
java -version

2.检测jdk安装包

3.卸载openjdk

yum remove *openjdk*
或者
rpm -qa | grep java
rpm -e --nodeps tzdata-java-2015g-1.el7.noarch
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.65-3.b17-el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17-el7.x86_64

4.卸载后再次查看

重装指定版本JDK

1.下载解压需要的jdk版本

tar -zxvf jdk-8u172-linux-x64.tar.gz  

2.配置环境变量

打开配置文件
vim /etc/profile
添加jdk相关配置
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_172
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export  PATH=${JAVA_HOME}/bin:$PATH
重新加载配置
source /etc/profile

3.查看jdk版本

安装Zookerper

1.下载解压缩安装包

tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz 

2.重命名配置文件

cd  /usr/local/zookeeper/apache-zookeeper-3.5.8-bin/conf
cp zoo_sample.cfg  zoo.cfg

3.启动/停止 Zookerper

cd usr/local/zookeeper/apache-zookeeper-3.5.8-bin
bin/zkServer.sh start conf/zoo.cfg
bin/zkServer.sh stop conf/zoo.cfg

4.启动客户端

同一台机器
bin/zkCli.sh 
若不是本机
bin/zkCli.sh ‐server ip:port

相关命令

查看子节点
ls /zookeeper
子节点遍历
ls -R /  

查看Zookerper命令
help

创建普通节点

create [‐s] [‐e] [‐c] [‐t ttl] path [data] [acl] 

括号为可选项，没有则默认创建持久化节点

-s: 顺序节点

-e: 临时节点

-c: 容器节点

-t: 可以给节点添加过期时间，默认禁用，需要通过系统参数启用

创建节点
 create /node1
创建节点并赋值
 create /node2 aaa
查看节点
 get /node2
修改节点
set /node2 bbb
删除节点
delete /node
创建子节点
create /node2/sub
查看子节点
ls -R /node2

查看节点状态

stat /node2 

创建顺序节点

create -s /节点层级

可用于实现分布式锁，顺序的长度为10位

 创建临时节点

create -e /tmp aaa

查看节点版本信息

get -s /node2

• cZxid：创建znode的事务ID（Zxid的值）
• mZxid：最后修改znode的事务ID
• pZxid：最后添加或删除子节点的事务ID（子节点列表发生变化才会发生改变）
• ctime：znode创建时间
• mtime：znode最近修改时间
• dataVersion：znode的当前数据版本
• cversion：znode的子节点结果集版本（一个节点的子节点增加、删除都会影响这个版本）
• aclVersion：表示对此znode的acl版本
• ephemeralOwner：znode是临时znode时，表示znode所有者的 session ID。 如果znode不是临时znode，则该字段设置为零
• dataLength：znode数据字段的长度
• numChildren：znode的子znode的数量

临时节点的特性

• 在客户端被关闭后，三十秒过后会被清理
• 不能有子节点

创建临时顺序节点

create -s -e /tmp1 

创建容器节点

create -c /container/sub1
create -c /container/sub2
create -c /container/sub3

容器节点主要用来容纳字节点，如果没有给其创建子节点，容器节点表现和持久化节点一样，如果给容器节点创建了子节点，后续又把子节点清空，容器节点也会被zookeeper删除(大约60s)。

创建ttl节点

开启配置才能创建
cd /usr/local/zookeeper/apache-zookeeper-3.5.8-bin/bin
创建ttl节点
create -t 7000 /ttl-node aaa

到了时间会超期自动删除

事件监听机制

//监听节点，但只能监听一次
get -w /test 

目录监听

也是一次性
ls -w /tes

监听整个树

ls -R -w /test

ACL 权限控制( Access Control List )

Zookeeper 的ACL 权限控制,可以控制节点的读写操作,保证数据的安全性，Zookeeper ACL 权限设置分为 3 部分组成，分别是：权限模式（Scheme）、授权对象（ID）、权限信息 （Permission）。最终组成一条例如“

scheme:id:permission”格式的 ACL 请求信息。

Scheme（权限模式）

用来设置 ZooKeeper 服务器进行权限验证的方式

1. 范围验证：所谓的范围验证就是说 ZooKeeper 可以针对一个 IP 或者一段 IP 地址授予某种权限。比如我们可以让一个 IP 地址为“ip：192.168.0.110”的机器对服务器上的某个数据节点具有写入的权限。或者也可以通过“ip:192.168.0.1/24”给一段 IP 地址的机器赋权。
2. 口令验证：也可以理解为用户名密码的方式。在 ZooKeeper 中这种验证方式是 Digest 认证，而 Digest 这种认证方式首先在客户端传送“username:password”这种形式的权限表示符后，ZooKeeper 服务端会对密码 部分使用 SHA-1 和 BASE64 算法进行加密， 以保证安全性。
3. Super权限模式,：Super可以认为是一种特殊的 Digest 认证。具有 Super 权限的客户端可以对 ZooKeeper 上的任意数据节点进行任意操作。

授权对象（ID）

授权对象就是说我们要把权限赋予谁，而对应于 4 种不同的权限模式来说，如果我们选择采用 IP方式，使用的授权对象可以是一个 IP 地址或 IP 地址段；而如果使用 Digest 或 Super 方式，则对应于一个用户名。如果是 World 模式，是授权系统中所有的用户。

权限信息（Permission）

权限就是指我们可以在数据节点上执行的操作种类， ZooKeeper 中已经定义好的权限有 5 种：

• 数据节点（c: create）创建权限，授予权限的对象可以在数据节点下创建子节点；
• 数据节点（w: wirte）更新权限，授予权限的对象可以更新该数据节点；
• 数据节点（r: read）读取权限，授予权限的对象可以读取该节点的内容以及子节点的列表信息；
• 数据节点（d: delete）删除权限，授予权限的对象可以删除该数据节点的子节点；
• 数据节点（a: admin）管理者权限，授予权限的对象可以对该数据节点体进行 ACL 权限设置。

授权命令

getAcl：获取某个节点的acl权限信息

setAcl：设置某个节点的acl权限信息

addauth: 输入认证授权信息，相当于注册用户信息，注册时输入明文密码，zk将以密文的形式存储。

可以通过系统参数zookeeper.skipACL=yes进行配置，默认是no,可以配置为true, 则配置过的ACL将不再进行权限检测

生成授权ID的两种方式:

• 代码生成ID:

 

 @Test 
 public void generateSuperDigest() throws NoSuchAlgorithmException { 
 String sId = DigestAuthenticationProvider.generateDigest("gj:test"); 
 System.out.println(sId);// gj:X/NSthOB0fD/OT6iilJ55WJVado= 
 } 

• 在xshell 中生成

echo ‐n <user>:<password> | openssl dgst ‐binary ‐sha1 | openssl base64

密文ACl授权

create [-s] [-e] [-c] path [data] [acl]

添加后访问

 

明文ACL授权

[zk: localhost:2181(CONNECTED) 18] create /zknode2 qqq auth:user1:pass1:rw
Created /zknode2
[zk: localhost:2181(CONNECTED) 21] getAcl /zknode2
'digest,'user1:x
: rw  
[zk: localhost:2181(CONNECTED) 22] get /zknode2
qqq
[zk: localhost:2181(CONNECTED) 23] 

IP模式ACL授权

非本机ip的客户端无权限访问

[zk: localhost:2181(CONNECTED) 1] create /zknodeIp ipaddress ip:192.168.0.108:rw 
Created /zknodeIp
[zk: localhost:2181(CONNECTED) 2] get /zknodeIp
org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /zknodeIp
 

可通过关闭授权认证

vim zkServer.sh
添加
zookeeper.skipACL=yes
注意：大小写敏感

内存数据和持久化

Zookeeper数据的组织形式为一个类似文件系统的数据结构，而这些数据都是存储在内存中的，所以说，Zookeeper是一个基于内存的小型数据库

内存中的数据

public class DataTree { 
private final ConcurrentHashMap<String, DataNode> nodes = 
new ConcurrentHashMap<String, DataNode>(); 

private final WatchManager dataWatches = new WatchManager();
private final WatchManager childWatches = new WatchManager(); 

DataNode 是Zookeeper存储节点数据的最小单位

  public class DataNode implements Record { 
  byte data[]; 
  Long acl; 
  public StatPersisted stat; 
  private Set<String> children = null; 

事务日志

针对每一次客户端的事务操作，Zookeeper都会将他们记录到事务日志中，当然，Zookeeper也会将数据变更应用到内存数据库中。我们可以在zookeeper的主配置文件zoo.cfg 中配置内存中的数据持久化目录，也就是事务日志的存储路径 dataLogDir. 如果没有配置dataLogDir（非必填）, 事务日志将存储到dataDir （必填项）目录。

查看日志文件存放目录

vim conf/zoo.cfg 

查看事务日志

[root@centos7 apache-zookeeper-3.5.8-bin]# cd /tmp/zookeeper/
[root@centos7 zookeeper]# ls
version-2  zookeeper_server.pid
[root@centos7 zookeeper]# cd version-2/
[root@centos7 version-2]# ll -h
total 84K
-rw-r--r--. 1 root root  65M Mar 27 00:36 log.1
-rw-r--r--. 1 root root  65M Mar 27 15:26 log.17
-rw-r--r--. 1 root root  65M Mar 27 01:10 log.3
-rw-r--r--. 1 root root  65M Mar 27 15:36 log.35
-rw-r--r--. 1 root root  65M Mar 27 16:12 log.36
-rw-r--r--. 1 root root  65M Mar 27 16:32 log.3c
-rw-r--r--. 1 root root  65M Mar 27 16:38 log.4a
-rw-r--r--. 1 root root  424 Mar 27 00:14 snapshot.0
-rw-r--r--. 1 root root 1.5K Mar 27 09:07 snapshot.16
-rw-r--r--. 1 root root  424 Mar 27 00:38 snapshot.2
-rw-r--r--. 1 root root 2.3K Mar 27 15:33 snapshot.34
-rw-r--r--. 1 root root 2.3K Mar 27 15:48 snapshot.35
-rw-r--r--. 1 root root 2.3K Mar 27 16:18 snapshot.3b
-rw-r--r--. 1 root root 2.6K Mar 27 16:36 snapshot.49
[root@centos7 version-2]#  

Zookeeper进行事务日志文件操作的时候会频繁进行磁盘IO操作，事务日志的不断追加写操作会触发底层磁盘IO为文件开辟新的磁盘块，即磁盘Seek。因此，为了提升磁盘IO的效率，Zookeeper在创建事务日志文件的时候就进行文件空间的预分配- 即在创建文件的时候，就向操作系统申请一块大一点的磁盘块。这个预分配的磁盘大小可以通过系统参数 zookeeper.preAllocSize 进行配置。

事务创建：事务日志文件名为： log.<当时最大事务ID>，应为日志文件时顺序写入的，所以这个最大事务ID也将是整个事务日志文件中，最小的事务ID，日志满了即进行下一次事务日志文件的创建

查看日志

注意事务日志是按顺序进行，记录了所有的set数据的操作，单纯的get不会记录到事务中

[root@centos7 lib]# java -cp slf4j-api-1.7.25.jar:zookeeper-3.5.8.jar:zookeeper-jute-3.5.8.jar org.apache.zookeeper.server.LogFormatter /tmp/zookeeper/version-2/log.1
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
ZooKeeper Transactional Log File with dbid 0 txnlog format version 2
3/27/22 12:35:48 AM CST session 0x100007049f40000 cxid 0x0 zxid 0x1 createSession 30000

3/27/22 12:36:49 AM CST session 0x100007049f40000 cxid 0x0 zxid 0x2 closeSession null
EOF reached after 2 txns.
[root@centos7 lib]# 

数据快照

数据快照用于记录Zookeeper服务器上某一时刻的全量数据，并将其写入到指定的磁盘文件中。 可以通过配置snapCount配置每间隔事务请求个数，生成快照，数据存储在dataDir 指定的目录中，可以通过如下方式进行查看快照数据（ 为了避免集群中所有机器在同一时间进行快照，实际的快照生成时机为事务数达到 [snapCount/2 + 随机数(随机数范围为1 ~ snapCount/2 )] 个数时开始快照）。

快照创建：快照事务日志文件名为： snapshot.<当时最大事务ID>，日志满了即进行下一次事务日志文件的创建。

快照数据主要时为了快速恢复， 事务日志文件是每次事务请求都会进行追加的操作，而快照是达到某种设定条件下的内存全量数据。所以通常快照数据是反应当时内存数据的状态。事务日志是更全面的数据，所以恢复数据的时候，可以先恢复快照数据，再通过增量恢复事务日志中的数据即可。