Zookeeper

最新推荐文章于 2024-10-31 14:55:39 发布

∝ 1 颗心╮

最新推荐文章于 2024-10-31 14:55:39 发布

阅读量169

点赞数

分类专栏： SpringCLoud

本文链接：https://blog.youkuaiyun.com/qq_42499188/article/details/104556491

版权

SpringCLoud 专栏收录该内容

4 篇文章

订阅专栏

一、概述

Zookeeper 是一个开源的分布式的，为分布式应用提供协调服务的 Apache 项目。

Zookeeper 从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper 就将负责通知已经在 Zookeeper 上注册的那些观察者做出相应的反应，从而实现集群中类似 Master/Slave 管理模式

Zookeeper=文件系统+通知机制

二、特点

Zookeeper:一个领导者(leader)，多个跟随者(follower)组成的集群。
Leader负责进行投票的发起和决议，更新系统状态
Follower用于接收客户请求并向客户端返回结果，在选举 Leader 过程中参与投票
集群中只要有半数以上节点存活，Zookeeper 集群就能正常服务。
全局数据一致:每个 server 保存一份相同的数据副本，client 无论连接到哪个 server，数据都是一致的。
更新请求顺序进行，来自同一个 client 的更新请求按其发送顺序依次执行。
数据更新原子性，一次数据更新要么成功，要么失败。
实时性，在一定时间范围内，client 能读到最新数据。

三、数据结构

ZooKeeper 数据模型的结构与 Unix 文件系统很类似，整体上可以看作是一棵树，每个节点称做一个 ZNode。

很显然 zookeeper 集群自身维护了一套数据结构。这个存储结构是一个树形结构，其上的每一个节点，我们称之为"znode"，每一个 znode 默认能够存储 1MB 的数据，每个 ZNode都可以通过其路径唯一标识

四、应用场景

提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

统一命名服务

统一配置管理

统一集群管理

服务器动态上下线

软负载均衡

五、Zookeeper内部原理

1、选举机制（面试重点）

1)半数机制(Paxos 协议):集群中半数以上机器存活，集群可用。所以 zookeeper适合装在奇数台机器上。

2)Zookeeper 虽然在配置文件中并没有指定 master 和 slave。但是，zookeeper 工作时，是有一个节点为 leader，其他则为 follower，Leader 是通过内部的选举机制临时产生的

3)以一个简单的例子来说明整个选举的过程。

假设有五台服务器组成的 zookeeper 集群，它们的 id 从 1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。

假设这些服务器依序启动，来看看会发生什么。

(1)服务器 1 启动，此时只有它一台服务器启动了，它发出去的报没有任何响应，所以它的选举状态一直是 LOOKING 状态。

(2)服务器 2 启动，它与最开始启动的服务器 1 进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以 id 值较大的服务器 2 胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是 3)，所以服务器 1、2 还是继续保持LOOKING 状态。

(3)服务器 3 启动，根据前面的理论分析，服务器 3 成为服务器 1、2、3 中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的 leader。

(4)服务器 4 启动，根据前面的分析，理论上服务器 4 应该是服务器 1、2、3、4 中最大的，但是由于前面已经有半数以上的服务器选举了服务器 3，所以它只能接收当小弟的命了。

(5)服务器 5 启动，同 4 一样当小弟。

2、节点类型

1）Znode 有两种类型:
短暂(ephemeral):客户端和服务器端断开连接后，创建的节点自己删除
持久(persistent):客户端和服务器端断开连接后，创建的节点不删除

2）Znode 有四种形式的目录节点(默认是 persistent )
(1)持久化目录节点(PERSISTENT)

客户端与 zookeeper 断开连接后，该节点依旧存在
(2)持久化顺序编号目录节点(PERSISTENT_SEQUENTIAL)

客户端与 zookeeper 断开连接后，该节点依旧存在，只是 Zookeeper 给该节点名称进行顺序编号

(3)临时目录节点(EPHEMERAL)
客户端与 zookeeper 断开连接后，该节点被删除

(4)临时顺序编号目录节点(EPHEMERAL_SEQUENTIAL)
客户端与 zookeeper 断开连接后，该节点被删除，只是 Zookeeper 给该节点名称进行顺序编号

3）创建 znode 时设置顺序标识，znode 名称后会附加一个值，顺序号是一个单调递增的计数
器，由父节点维护

4）在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序

3、stat结构体

1) czxid- 引起这个 znode 创建的 zxid，创建节点的事务的 zxid

每次修改 ZooKeeper 状态都会收到一个 zxid 形式的时间戳，也就是 ZooKeeper 事务 ID。

事务 ID 是 ZooKeeper 中所有修改总的次序。每个修改都有唯一的 zxid，如果 zxid1 小
于 zxid2，那么 zxid1 在 zxid2 之前发生。
2) ctime - znode 被创建的毫秒数(从 1970 年开始)
3) mzxid - znode 最后更新的 zxid

4) mtime - znode 最后修改的毫秒数(从 1970 年开始)
5) pZxid-znode 最后更新的子节点 zxid
6) cversion - znode 子节点变化号，znode 子节点修改次数7)dataversion - znode 数据变化号

8) aclVersion - znode 访问控制列表的变化号
9) ephemeralOwner- 如果是临时节点，这个是 znode 拥有者的 session id。如果不是临时节
点则是 0。
10) dataLength- znode 的数据长度
11) numChildren - znode 子节点数量

4、监听器原理（面试重点）

1)监听原理详解

1)首先要有一个 main()线程

2)在 main 线程中创建 Zookeeper 客户端，这时就会创建两个线程，一个负责网络连接通信(connet)，一个负责监听(listener)。

3)通过 connect 线程将注册的监听事件发送给 Zookeeper。

4)在 Zookeeper 的注册监听器列表中将注册的监听事件添加到列表中。

5)Zookeeper 监听到有数据或路径变化，就会将这个消息发送给 listener 线程。

6)listener 线程内部调用了 process()方法。

2)常见的监听

(1)监听节点数据的变化:

get path [watch]

(2)监听子节点增减的变化

ls path [watch]

5、写数据流程

客户端向服务器提交数据，是怎么写的？

1）怎么保证每个节点上的副本都是一样的？

2）Leader和Follower是怎么分工的，都做了什么事情？

ZooKeeper 的写数据流程主要分为以下几步:
1) 比如 Client 向 ZooKeeper 的 Server1 上写数据，发送一个写请求。

2) 如果 Server1 不是 Leader，那么 Server1 会把接受到的请求进一步转发给 Leader，因为每个 ZooKeeper 的 Server 里面有一个是 Leader。这个 Leader 会将写请求广播给各个Server，比如 Server1 和 Server2，各个 Server 写成功后就会通知 Leader。

3) 当 Leader 收到大多数 Server 数据写成功了，那么就说明数据写成功了。如果这里三个节点的话，只要有两个节点数据写成功了，那么就认为数据写成功了。写成功之后，Leader 会告诉 Server1 数据写成功了。

4) Server1 会进一步通知 Client 数据写成功了，这时就认为整个写操作成功。ZooKeeper整个写数据流程就是这样的。