Zookeeper学习笔记

一、Zookeeper的介绍

（一）Zookeeper概述

1.介绍

        Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。它是一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务，应用程序最初通常会吝啬它们，这使得它们在变化的情况下变得脆弱并且难以管理。即使正确完成，这些服务的不同实现也会在部署应用程序时导致管理复杂性。

2.工作机制

        基于观察者模式设计的分布式服务管理框架。

（二）Zookeeper的特点

Zookeeper官方架构图

1.Zookeeper：一个领导级别的存在，监测和管理多个服务。
2.集群中只要有半数以上节点存活，Zookeeper集群就能正常服务。
3.数据一致性：从同一客户端发起的事务请求，最终将会严格地按照顺序被应用到 ZooKeeper 中去。
4.更新请求顺序进行：来自同一个Client的更新请求按照其发送顺序依次执行。
5.原子性：所有事务请求的处理结果在整个集群中所有机器上的应用情况是一致的，也就是说，要么整个集群中   所有的机器都成功应用了某一个事务，要么都没有应用。
6.实时性：在一定时间范围，Client能读到最新的数据。

（三）Zookeeper的数据结构

        Zookeeper数据模型的结构与Unix文件系统很类似，都是树结构。树上有若干个节点，每个节点能够存储1MB的数据，同时每个节点都是通过其路径可以唯一标识的。

（四）Zookeeper企业应用场景

        Zookeeper服务包括：统一命名服务、统一配置管理、统一集群管理、软负载均衡等。

1.统一命名服务

        命名服务是分布式系统中较为常见的一类场景，分布式系统中，被命名的实体通常可以是集群中的机器、提供的服务地址或远程对象等。通过命名服务，客户端可以根据指定名字来获取资源的实体、服务地址和提供者信息。例如一般用户都是通过域名来访问应用而不是IP。阿里开源分布式服务框架Dubbo中使用zookeeper来作为其命名服务，维护全局的服务列表。

2.统一配置管理

        （1）配置文件同步，集群中所有配置文件的信息都是一致的，对配置文件修改后，快速同步到各个节点上。
        （2）Zookeeper实现配置管理。将配置信息写入到Zookeeper上的节点，然后各个客户端服务器监听这个节点，一但节点中的数据发生变化，Zookeeper将通知到各个客户端服务器。

3.统一集群管理

        zookeeper的两大特性：节点特性和watcher机制
        （1）分布式环境中实时掌握每个节点的状态，并根据节点实时状态做出一定的调整。
        （2）在实时监测到节点变化后，将节点的信息写入到Zookeeper上的节点，通过监听该节点来获取它的实时状态变化。

4.负载均衡

        zookeeperk实现负载均衡就是通过watcher机制和临时节点判断哪些节点宕机来获取可用的节点来实现的,zookeeperk会维护一个树形的数据结构，类似于window的资源管理器目录，其中 EPHEMERAL(临时）节点会随着创建它的客户端端口而被删除，利用这个特性很容易实现软负载均衡。

二、Zookeeper的安装与配置

（一）Zookeeper下载安装

1、Zookeeper下载

下载地址：https://zookeeper.apache.org/releases.html#download

2．安装前准备

（1）安装Jdk
（2）拷贝Zookeeper安装包到Linux系统下opt

（3）解压到指定目录

tar -zxvf apache-zookeeper-3.9.0-bin.tar.gz -C zk

3．配置修改

（1）修改文件名

mv apache-zookeeper-3.9.0-bin/ zookeeper-3.9.0

（2）将/opt/zk/zookeeper-3.9.0/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；

mv zoo_sample.cfg zoo.cfg

（3）在/opt/zk/zookeeper-3.9.0这个目录上创建zkData文件夹，并复制路径

mkdir zkData
cd zkData
pwd

（3）打开zoo.cfg文件，修改dataDir路径：
    vim zoo.cfg
    修改如下内容：
    dataDir=/opt/zk/apache-zookeeper-3.9.0/zkData

 

4．操作Zookeeper

（1）启动Zookeeper

        在/opt/zk/zookeeper-3.9.0/bin目录下执行

   ./zkServer.sh start

（2）jps查看进程是否启动

jps

（3）查看状态

    在/opt/zk/zookeeper-3.9.0/bin目录下执行

./zkServer.sh status

（4）启动客户端

        在/opt/zk/zookeeper-3.9.0/bin目录下执行

./zkCli.sh

（5）quit退出客户端

（6）停止Zookeeper

在/opt/zk/zookeeper-3.9.0/bin目录下执行

./zkServer.sh stop

（二）配置参数解读

Zookeeper中的配置文件zoo.cfg中参数含义解读如下

1．tickTime =2000

        通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒
Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。
        它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)

2．initLimit =10

        LF初始通信时限
        集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数（tickTime的数量），用它来限定集群中的Zookeeper服务器连接到Leader的时限。

3．syncLimit =5

LF同步通信时限
        集群中Leader与Follower之间的最大响应时间单位，假如响应超过syncLimit * tickTime，Leader认为Follwer死掉，从服务器列表中删除Follwer

4．dataDir

数据文件目录+数据持久化路径
        主要用于保存Zookeeper中的数据。

5．clientPort =2181

客户端连接端口
        监听客户端连接的端口。

三、Zookeeper的内部原理

（一）选举机制

        1）半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。
        2）Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通过内部的选举机制临时产生的。
        3）以一个简单的例子来说明整个选举的过程。
假设有五台服务器组成的Zookeeper集群，它们的id从1-5，同时它们都是最新启动的，也就是没有历史数据，在存放数据量这一点上，都是一样的。假设这些服务器依序启动，来看看会发生什么，如图所示。

图中Zookeeper的选举机制
        （1）服务器1启动，此时只有它一台服务器启动了，它发出去的报文没有任何响应，所以它的选举状态一直是LOOKING状态。
        （2）服务器2启动，它与最开始启动的服务器1进行通信，互相交换自己的选举结果，由于两者都没有历史数据，所以id值较大的服务器2胜出，但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3)，所以服务器1、2还是继续保持LOOKING状态。
        （3）服务器3启动，根据前面的理论分析，服务器3成为服务器1、2、3中的老大，而与上面不同的是，此时有三台服务器选举了它，所以它成为了这次选举的Leader。
        （4）服务器4启动，根据前面的分析，理论上服务器4应该是服务器1、2、3、4中最大的，但是由于前面已经有半数以上的服务器选举了服务器3，所以它只能接收当小弟的命了。
        （5）服务器5启动，同4一样当小弟。

（二）节点类型

1.持久节点（Persistent）

服务端和客户端断开连接后，创建的节点不删除；
        持久化目录节点：服务端和客户端断开连接后，该节点仍然存在；
        持久化顺序编号目录节点：服务端和客户端断开连接后，该节点仍然存在；只是zook给该节点名称进行顺序编号。

2.短暂节点(Ephemeral)

服务端和客户端断开连接后，创建的节点自己删除；
        临时目录节点：客户端与Zookeeper断开连接后，该节点被删除
        临时顺序编号目录节点：客户端与Zookeeper断开连接后，该节点被删除，只是zook给该节点名称进行顺序编号。     

        注意：在分布式系统中，顺序号可以被用于为为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序。节点上的顺序号是一个单调递增的计数器，由父节点维护。

（三）Zookeepr写和读数据流程

1.写数据流程

        以3台服务器的Zookeeper集群为例，一个Leader，两个Follower即server1和server2。

（1）Client向Zookeeper的server1发送一个写请求，客户端写数据到服务器1上；
（2）如果server1不是Leader，那么server1会把接收到的写请求转发给Leader；然后Leader会将写请求转发给每个server；
            server1和server2负责写数据，并且两个Follower的写入数据是一致的，保存相同的数据副本；
            server1和server2写数据成功后，通知Leader;
（3）当Leader收到集群半数以上的节点写成功的消息后，说明该写操作执行成功；
            例如：这里是3台服务器，只要2台Follower服务器写成功就ok
            因为client访问的是server1，所以Leader会告知server1集群中数据写成功；
（4）被访问的server1进一步通知client数据写成功，这时，客户端就知道整个写操作成功了。

2.读数据

        相比写数据流程，读数据流程就简单得多；因为每台server中数据一致性都一样，所以随便访问哪台server   读数据就行；没有写数据流程中请求转发、数据同步、成功通知这些步骤。

四、Zookeeper分布式安装部署

（一）集群规划

 在zk01、zk02和zk04三个节点上部署Zookeeper。

（二）集群中的角色和作用

a.Leader角色
        Leader服务器是整个zookeeper集群的核心，主要的工作任务有两项
        1. 事物请求的唯一调度和处理者，保证集群事物处理的顺序性
        2. 集群内部各服务器的调度者

b.Follower角色
        Follower角色的主要职责是
        1. 处理客户端非事物请求、转发事物请求给leader服务器
        2. 参与事物请求Proposal 的投票（需要半数以上服务器 通过才能通知leader commit数据;Leader发起的提案， 要求Follower投票）
        3. 参与Leader选举的投票

c.Observer角色
        Observer 是 zookeeper3.3 开始引入的一个全新的服务器 角色，从字面来理解，该角色充当了观察者的角色。 观察zookeeper集群中的最新状态变化并将这些状态变化 同步到 observer 服务器上。Observer的工作原理与follower角色基本一致，而它和follower角色唯一的不同在于observer 不参与任何形式的投票，包括事物请求 Proposal的投票和leader选举的投票。简单来说，observe服务器只提供非事物请求服务，通常在于不影响集群事物 处理能力的前下提升集群非事物处理的能力.

（三）解压安装

  1、克隆三个服务器zk1、zk2、zk3

 

2、分别在三个主机里面修改配置 

##第一个主机修改IP地址为192.168.187.100 主机名 100
#修改ip地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
#修改主机名
hostnamectl --static set-hostname <新主机名>
#关闭防火墙
systemctl disable firewalld


##第二个主机修改IP地址为192.168.187.200 主机名 200
#修改ip地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
#修改主机名
hostnamectl --static set-hostname <新主机名>
#关闭防火墙
systemctl disable firewalld


##第一个主机修改IP地址为192.168.187.300 主机名 300
#修改ip地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33
#修改主机名
hostnamectl --static set-hostname <新主机名>
#关闭防火墙
systemctl disable firewalld

3、解压Zookeeper安装包到/opt/zk目录下

        把宿主机的安装文件直接放到复制到三个克隆机里面，其他两个同样操作

（四）配置服务器编号

 1、创建myid文件

        在/opt/zk/apache-zookeeper-3.9.0/zkData这个目录下创建一个myid的文件

touch myid

 2、编辑myid文件

         只要在里面添加1就行

 vi myid

3、在其他两台服务器上分别创建zkData目录，并在目录中创建myid文件，myid文件中内容为

        2、3

（五）配置zoo.cfg文件

 

1、分别到各个主机里面查看ip

ip addr

2、打开zoo.cfg文件

cd /opt/zk/zookeeper-3.9.0/conf

vim zoo.cfg

3、添加

#######################cluster##########################
server.1=192.168.187.zk1的IP:2888:3888
server.2=192.168.187.zk2的IP:2888:3888
server.3=192.168.187.zk3的IP:2888:3888

 

4、其他两台服务器同样完成以上两步关于zoo.cfg配置文件的操作
      

（六）集群操作

1、启动zk1的zookeeper 

cd /opt/zk/zookeeper-3.9.0/bin
./zkServer.sh start
./zkServer.sh status

2、查看状态

ZooKeeper JMX enabled by default
Using config: /opt/zk/zookeeper-3.9.0/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Error contacting service. It is probably not running. 

3、先不要急

        无法查看status的原因是，当zk1节点上执行bin/zkServer.sh status命令时，只有zk1节点的zookeeper进程启动了，其他节点的进程并没有启动，zk1节点无法与zk2、zk3节点交互。由于zookeeper集群是依靠选举机制来产生leader和follower，当无法交互时也就无法选出leader和follower，因此执行status命令时，无法获取节点的状态。总结：只启动一台节点时，无法获取zookeeper的节点状态。

4、启动zk1、zk2的zookeeper

 

5、 集成成功

        如上图所示

五、Zookeeper的常用命令

1．启动客户端

./zkCli.sh

2．显示所有操作命令

help

3．查看当前znode中所包含的内容

ls /

4．查看当前节点详细数据

ls -s /

5．分别创建2个普通节点

create /xiyouji "xunwukong"
create /xiyouji/liushahe "shawujing"

6．获得节点的值

get /xiyouji
get /xiyouji/liushahe

7．创建短暂节点

create -e /daomubiji

（1）在当前客户端是能查看到的

（2）退出当前客户端然后再重启客户端

quit
./zkCli.sh

（3）再次查看根目录下短暂节点已经删除
 

ls /

8．创建带序号的节点

（1）先创建一个普通的根节点

create /xiyouji/liushahe/place "huanhe"

（2）创建带序号的节点 

        如果原来没有序号节点，序号从0开始依次递增。如果原节点下已有2个节点，则再排序时从2开始，以此类推。

create -s /xiyouji/liushahe/place "huanghe"
create -s /xiyouji/liushahe/place "changjiang"

   

9．修改节点数据值

get /xiyouji
set /xiyouji "meihouwnag"
get /xiyouji

10．节点的值变化监听

（1）在zk2主机上注册监听/shuihu节点数据变化

./zkCli.sh
get /xiyouji watch

（2）在zk1主机上修改/shuihu节点的数据

set /xiyouji "qitiandasheng"

 

（3）观察zk2主机收到数据变化的监听
 

11．节点的子节点变化监听（路径变化）

（1）在zk1主机上注册监听/xiyouji节点的子节点变化    

 ls /xiyouji watch

（2）在zk2主机/xiyouji节点上创建子节点

create /xiyouji/tianting

（3）观察hadoop104主机收到子节点变化的监听

12．删除节点

delete /xiyouji/tianting

13．递归删除节点

deleteall /xiyouji/huaguoshan

14．查看节点状态 

六、Zookeeper的API应用

（一）、创建一个Maven工程

        <!--junit-->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.13.2</version>
        </dependency>
        <!--log4j-->
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <!--zookeeper-->
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.7.0</version>
        </dependency>

（二）、log4j.properties文件

        需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入。

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

（三）、创建ZooKeeper客户端

1.定义实例化Zookeeper  

public class ZookeeperConfig {
    private static String connectString = "192.168.187.200:2181,192.168.187.133:2181,192.168.187.134:2181";
    private int sessionTime=60000;
    //zookeeper客户端工具对象
    private ZooKeeper zooKeeper;

    @Before
    public void init() throws Exception {
        zooKeeper = new ZooKeeper(connectString, sessionTime, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.getType()+"==="+event.getPath());
            }
        });
    }

}

2 .创建子节点  

    //创建子节点
    @Test
    public void create2() {
        try {
            String path = zooKeeper.create("/hongloumeng", "lingdaiyu".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT_SEQUENTIAL);
            System.out.println(path);
        } catch (KeeperException e) {
            throw new RuntimeException(e);
        } catch (InterruptedException e) {
            throw new RuntimeException(e);
        }
    }

 

 3.获取节点数据

    //获取节点数据
    @Test
    public void getNode() throws Exception{
        byte[] data = zooKeeper.getData("/hongloumeng0000000003", true, null);
        System.out.println(new String(data));
    }

 

4.获取所有的节点

    //获取所有的节点
    @Test
    public void getData() throws Exception{
        byte[] data = zooKeeper.getData("/", false, null);
        System.out.println(new String(data));
    }

5.删除节点

    //删除节点
    @Test
    public void delete() throws Exception{
        zooKeeper.delete("/hongloumeng0000000003", -1);
    }

6.更新节点

    //更新节点
    @Test
    public void setData() throws Exception{
        Stat stat = zooKeeper.setData("/shuixuzhuan", "wuxie".getBytes(), -1);
        System.out.println(stat.getVersion());
    }

7. 判断节点是否存在

    //判断节点是否已存在
    @Test
    public void exist() throws Exception{
        Stat stat = zooKeeper.exists("/shuixuzhuan", false);
        System.out.println(stat);
    }