zookeeper笔记

最新推荐文章于 2025-03-10 11:51:50 发布

原创最新推荐文章于 2025-03-10 11:51:50 发布 · 280 阅读

0 ·

CC 4.0 BY-SA版权

——Zookeeper 专栏收录该内容

0 篇文章

订阅专栏

1. 概念

概述： Zookeeper 是一个开源的分布式，为分布式应用提供协调服务的Apache项目.
工作机制： Zookeeper从设计模式角度来理解：是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。
特点：
- 一个领导者（Leader）,多个跟随者(Follower)组成的集群
- 集群中只要有半数以上结点存活，Zookeeper集群就能正常服务。
- 全局数据一致：每个Server保存一份相同的数据副本，Client无论链接到哪个Server,数据都是一致的。
- 更新请求顺序进行，来自同一个Client的更新按其发送顺序依次执行。
- 数据更新原子性，一次数据更新要么成功，要么失败
- 实时性，在一定时间范围内，Client能读到最新数据
数据结构：树形结构，Zookeeper数据模型的结构与Unix文件系统很类似，整体上可以看作是一棵树，每个节点称为一个ZNode，每一个ZNode默认能够存储1MB的数据，每个ZNode都可以通过其路径唯一标识。
应用：
- 统一命名服务：在分布式环境下，经常需要对应用/服务进行统一命名，便于识别。
- 统一配置管理：
  - 分布式环境下，配置文件同步非常常见
    - 一般要求一个集群中，所有节点的配置信息是一致的
    - 对配置文件修改后，希望能够快速同步到各个节点上
  - 配置管理可交由Zookeeper实现
    - 可将配置信息写入Zookeeper上的Znode
    - 各个客户端服务器监听这个Znode
    - 一旦Znode中的数据被修改，Zookeeper将通知给各个客户端服务器
- 统一集群管理
  - 分布式环境中，实时掌握每个节点的状态是必要的
    - 可根据节点实时章台做出一些调整
  - Zookeeper可以实现实时监控节点状态变化
    - 可将节点信息写入Zookeeper上的一个Znode
    - 监听这个Znode可获取它的实时状态变化
- 服务器动态上下线
  - 客户端实时洞察到服务器上下线的变化
- 软负载均衡
  - 在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求

2. Zookeeper内部原理

选举机制：
- 半数机制：集群中半数以上机器存活，集群可用，所以Zookeeper适合安装奇数台服务器
- Zookeeper虽然在配置文件中并没有指定Master和Slave，但是，Zookeeper工作时，是一个节点为Leader，其它则为Follower，Leader是通过内部的选举机制临时产生的。
- 可以想象，几台服务器依序启动的例子。
节点类型：
- 持久（Persistent）:又分为普通持久、持久化顺序编号（顺序号是一个单调递增的计数器，由父节点维护）。客户端和服务器端断开链接后，创建的节点不删除
- 短暂（Ephemeral）:又分为普通短暂、短暂化顺序编号，客户端和服务器断开链接后，创建的节点自己删除
- 在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序。
Stat结构体
- czxid- 引起这个znode创建的zxid，创建节点的事务的zxid
- ctime - znode被创建的毫秒数(从1970年开始)
- mzxid - znode最后更新的zxid
- mtime - znode最后修改的毫秒数(从1970年开始)
- pZxid-znode最后更新的子节点zxid
- cversion - znode子节点变化号，znode子节点修改次数
- dataversion - znode数据变化号
- aclVersion - znode访问控制列表的变化号
- ephemeralOwner- 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0
- dataLength- znode的数据长度
- numChildren - znode子节点数量
监听原理
- 首先，要有一个main()线程
- 在main线程中创建Zookeeper客户端，这时就会创建两个线程，一个负责网络链接通信(connect)，一个负责监听(listener)
- 通过coonect线程将注册的监听的事件发送给Zookeeper
- 在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中，
- zookeeper监听到由数据或路径变化，就会将这个消息发送给listener线程
- listener线程内部调用了process()方法
写数据流程：
- Client向Zookeeper的Server1上写数据，发送一个写的请求，
- 如果Server1不是一个leader，那么Server1会把接受到的请求进一步转发给leader，因为每个zookeeper的server里面有一个是leader，这个leader会将写的请求广播给各个server，比如server1和server2，各个server写成功就会通知leader
- 当leader收到大多数server数据写成功，那么就说数据写成功了，如果这里三个节点的话，只要有两个节点数据写成功了，那么就认为数据写成功了，写成功之后，leader会告诉server1数据写成功了。
- server1会进一步通知client数据写成功了，这时就认为整个写操作成功了。

3. Zookeeper分布式安装以及命令行

下载地址： http://zookeeper.apache.org/index.html
机器规划：在Slave1.MHadoop、Slave2.MHadoop、Slave3.MHadoop三台机器上安装zookeeper集群。
解压：在Slave1.MHadoop上安装解压zookeeper安装包。

[hadoop@Slave1 usr]$ tar -zxf /opt/sofeware/zookeeper-3.4.8.tar.gz -C /opt/modules/

修改配置文件名字：拷贝conf下的zoo_sample.cfg副本，改名为zoo.cfg。

[hadoop@Slave1 usr zookeeper-3.4.10]$ cp conf/zoo_sample.cfg conf/zoo.cfg

修改配置文件内容：

#dataDir属性设置zookeeper的数据文件存放的目录：
dataDir=/usr/zookeeper-3.4.10/zkData

#指定zookeeper集群中各个机器的信息：
server.1=Slave1.Hadoop:2888:3888
server.2=Slave2.Hadoop:2888:3888
server.3=Slave3.Hadoop:2888:3888

创建myid文件:在dataDir所指定的目录下创一个名为myid的文件，文件内容为server点后面的数字。

[MHadoop@Slave1 zookeeper-3.4.10]$ touch zkData/myid
[MHadoop@Slave1 zookeeper-3.4.10]$ echo 1 >> zkData/myid 
[MHadoop@Slave1 zookeeper-3.4.10]$ cat zkData/myid 
1

分发到其它机器

[MHadoop@Slave1 zookeeper-3.4.10]$ scp -r /usr/zookeeper-3.4.10 Slave2.MHadoop:/usr/zookeeper-3.4.10
[MHadoop@Slave1 zookeeper-3.4.10]$ scp -r /usr/zookeeper-3.4.10 Slave3.MHadoop:/usr/zookeeper-3.4.10

在其它机器上修改myid:
- 在/usr/zookeeper-3.4.10/zkData
- #vi myid ，编写机器的ID编号，改成相应的集群的ID编号，例如：1
启动zookeeper集群：需要在各个机器上分别启动zookeeper。

[MHadoop@Slave1 zookeeper-3.4.10]$ bin/zkServer.sh start
[MHadoop@Slave2 zookeeper-3.4.10]$ bin/zkServer.sh start
[MHadoop@Slave3 zookeeper-3.4.10]$ bin/zkServer.sh start

客户端命令行操作：
- 启动客户端： bin/zkCli.sh
- 显示所有操作命令： help
- 查看当前znode中所包含的内容: ls /
- 查看当前节点详细数据：ls2 /
- 创建普通节点： create /xxx “xxx”
- 创建短暂节点： create -e /xxx “xx”
- 创建带序号的节点： create -s /xxx “xx”
- 修改节点数据值： set /xxx “new data”
- 节点的值的变化监听： get /xxx watch
- 节点的子节点变化监听（路径变化）:ls /xxx watch
- 删除节点： delete /xxx/xxx
- 递归删除节点： rmr /xxx
- 查看节点状态: stat xxx

4. Zookeeper的API应用

创建节点
获取节点并监控节点的变化
判断节点是否存在

package com.zcs.ZookeeperDemo;

import java.io.IOException;
import java.util.List;

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;
import org.junit.Before;
import org.junit.Test;

/**
 * Hello world!
 *
 */
public class TestZookeeper 
{
    private String connectString = "172.21.3.211:2181,172.21.3.212:2181,172.21.3.213:2181";
	private int sessionTimeout = 90000;
	private ZooKeeper zooKeeper;
 

	@Before
     public void init() throws IOException {
    	 zooKeeper = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			
			@Override
			public void process(WatchedEvent event) {
				// TODO Auto-generated method stub
//				List<String> children = null;
//				try {
//					children = zooKeeper.getChildren("/", true);
//				} catch (KeeperException e) {
//					// TODO Auto-generated catch block
//					e.printStackTrace();
//				} catch (InterruptedException e) {
//					// TODO Auto-generated catch block
//					e.printStackTrace();
//				}
//				for(String child : children) {
//					System.out.println(child);
//				}
//				System.out.println("------------分割线--------------");
			}
		});
     }
	
	//1.创建节点
	@Test
	public void createNode() throws KeeperException, InterruptedException {
		String path = zooKeeper.create("/zcc", "test".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
		System.out.println(path);
	}
	//2.获取子节点并监控节点的变化
	@Test
	public void getDataAndWatch() throws KeeperException, InterruptedException {
		List<String> children = zooKeeper.getChildren("/", true);
		for(String child : children) {
			System.out.println(child);
		}
		//使之程序处于监控状态
		Thread.sleep(Long.MAX_VALUE);
	}
	//3.判断节点是否存在
	@Test
	public void exists() throws KeeperException, InterruptedException {
		Stat stat = zooKeeper.exists("/zcs", false);
		System.out.println(stat == null ? "not exist" : "exist");
	}
     
}

服务器动态上下线案例分析：
- 服务端启动时，去注册信息
- 启动就去getChildren，获取当前在线服务器的列表，并且注册监听
- 服务器节点上下线
- 服务器节点上下线通知
- process(){}重新获取服务端列表，并且注册监听
DistributeServer .java

package com.zcs.ZookeeperDemo;

import java.io.IOException;
import java.util.Set;

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.ZooDefs.Ids;

public class DistributeServer {

	public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
		// TODO Auto-generated method stub
		DistributeServer server = new DistributeServer();
		// 1. 连接zookeeper集群
		server.getConnect();
		// 2. 注册节点
		server.regist(args[0]);
		// 3. 业务逻辑处理
		server.business();
	}
	

	private void business() throws InterruptedException {
		// TODO Auto-generated method stub
		Thread.sleep(Long.MAX_VALUE);
	}


	private void regist(String hostname) throws KeeperException, InterruptedException {
		// TODO Auto-generated method stub
		String create = zooKeeper.create("/servers/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
		System.out.println(hostname +" is online..");
	}

	private String connectString = "172.21.3.211:2181,172.21.3.212:2181,172.21.3.213:2181";
	private int sessionTimeout = 90000;
	private ZooKeeper zooKeeper;

	private void getConnect() throws IOException {
		// TODO Auto-generated method stub
		zooKeeper = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			
			@Override
			public void process(WatchedEvent event) {
				// TODO Auto-generated method stub
				
			}
		});
	}

}

DistributeClient .java

package com.zcs.ZookeeperDemo;

import java.io.IOException;
import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;

public class DistributeClient {
	public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
		DistributeClient client = new DistributeClient();
		// 1.获取集群连接
		client.getConnect();
		// 2.注册监听
		client.getChildren();
		// 3. 业务逻辑处理
		client.business();
	}

	private void business() throws InterruptedException {
		// TODO Auto-generated method stub
		Thread.sleep(Long.MAX_VALUE);
	}

	private void getChildren() throws KeeperException, InterruptedException {
		// TODO Auto-generated method stub
		List<String> children = zooKeeper.getChildren("/servers", true);
		ArrayList<String> hosts = new ArrayList<String>();
		for (String child : children) {
			byte[] data = zooKeeper.getData("/servers/"+child, false, null);
			hosts.add(new String(data));
		}

		System.out.println(hosts);

	}

	private String connectString = "172.21.3.211:2181,172.21.3.212:2181,172.21.3.213:2181";
	private int sessionTimeout = 90000;
	private ZooKeeper zooKeeper;

	private void getConnect() throws IOException {
		// TODO Auto-generated method stub
		  zooKeeper = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			
			@Override
			public void process(WatchedEvent event) {
				// TODO Auto-generated method stub
				try {
					getChildren();
				} catch (KeeperException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				} catch (InterruptedException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
		});
	}
}