ZooKeeper

原创已于 2022-04-09 15:10:45 修改 · 876 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#zookeper

于 2022-03-25 10:12:12 首次发布

初学大数据同时被 2 个专栏收录

158 篇文章

订阅专栏

hadoop基础

10 篇文章

订阅专栏

本文介绍如何使用Java API操作ZooKeeper的基本方法，包括创建、读取、更新和删除ZNode等，并详细展示了Hadoop与ZooKeeper集成的过程，如配置、免密钥设置及各组件的启动步骤。

package com.shujia.ZooKeeper;

import org.apache.zookeeper.*;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.nio.charset.StandardCharsets;

public class Demo01ZKAPI {
    ZooKeeper zk;
    //建立连接
    @Before
    public void init() throws IOException {
        zk = new ZooKeeper("master:2181,node1:2181,node2:2181", 500000, null);
    }

    @Test
    //创建一个ZNode
    public void createZNode() throws InterruptedException, KeeperException {
        /**
         * CreateMode:
         * PERSISTENT 永久保存
         * EPHEMERAL 在连接断开的时候会自动将创建的ZNode删除
         */
        zk.create("/test",
                "10".getBytes(),
                ZooDefs.Ids.OPEN_ACL_UNSAFE,
                CreateMode.PERSISTENT
        );
    }

    @Test
    //创建一个ZNode
    public void createEPHEMERALZNode() throws InterruptedException, KeeperException {
        /**
         * CreateMode:
         * PERSISTENT 永久保存
         * EPHEMERAL 在连接断开的时候会自动将创建的ZNode删除
         */
        zk.create("/test1",
                "20".getBytes(),
                ZooDefs.Ids.OPEN_ACL_UNSAFE,
                CreateMode.EPHEMERAL
        );
            while(true){
            //避免zk连接自动关闭
        }
    }

    //获取指定的ZNode上的值
    @Test
    public void getData() throws InterruptedException, KeeperException {
        byte[] data = zk.getData("/test1", null, null);
        System.out.println(new String(data));
    }

    //修改指定ZNode的值
    @Test
    public void setData() throws InterruptedException, KeeperException {
        zk.setData("/test","11".getBytes(),-1);
    }

    //删除指定ZNode
    @Test
    public void DeleteZNode() throws InterruptedException, KeeperException {
        zk.delete("/test",-1);
    }

    //观察者
    @Test
    public void setWatcher() throws InterruptedException, KeeperException {
        //判断指定的ZNode是否存在，并且可以指定一个Watcher
       zk.exists("/test", Event -> {
           System.out.println(Event.getPath());
           System.out.println(Event.getState());
           System.out.println(Event.getWrapper());
           System.out.println(Event.getType());
           System.out.println("捕捉到ZNode的变化,触发了事件");
       });
       while(true){
           //避免ZK连接自动断开
       }
    }

    @After
    //关闭连接
    public void close() throws InterruptedException {
        zk.close();
    }

}

       ZK   NN   DN   RM   NM   JN   ZKFC
master   1   1       1       1   1
node1   1   1   1   1   1   1   1
node2   1       1       1   1

1、防火墙
   service firewalld stop
2、时间同步
   yum install ntp
   ntpdate -u s2c.time.edu.cn

   或者
   date -s 20180503

3、免密钥 (远程执行命令)
   在两个主节点生成密钥文件
   ssh-keygen -t rsa
   ssh-copy-id ip

   master-->master,node1,node2
   node1-->master,node1,node2

4、修改hadoop配置文件
先停止HDFS集群：stop-dfs.sh
再修改
   core-site.xml
   hdfs-site.xml

   同步到其它节点
       cd /usr/local/soft/hadoop-2.7.6/etc/hadoop
       scp ./* node1:`pwd`
       scp ./* node2:`pwd`

5、删除hadoop数据存储目录下的文件每个节点都需要删除
   rm -rf /usr/local/soft/hadoop-2.7.6/tmp

6、启动zookeeper 三台都需要启动
   zkServer.sh start
   zkServer.sh status

7、启动JN 存储hdfs元数据
    三台JN上执行启动命令：
    /usr/local/soft/hadoop-2.7.6/sbin/hadoop-daemon.sh start journalnode

8、格式化在一台NN上执行，这里选择master
   hdfs namenode -format
   启动当前的NN
   hadoop-daemon.sh start namenode

9、执行同步没有格式化的NN上执行在另外一个namenode上面执行这里选择node1
   /usr/local/soft/hadoop-2.7.6/bin/hdfs namenode -bootstrapStandby

10、格式化ZK 在master上面执行
   ！！一定要先把zk集群正常启动起来
   /usr/local/soft/hadoop-2.7.6/bin/hdfs zkfc -formatZK

11、启动hdfs集群,在master上执行
   start-dfs.sh

[root@master data]# hadoop-daemon
hadoop-daemon.sh   hadoop-daemons.sh  
[root@master data]# hadoop-daemon.sh start namenode
starting namenode, logging to /usr/local/soft/hadoop-2.7.6/logs/hadoop-root-namenode-master.out