1+x之zookeeper集群部署

最新推荐文章于 2025-03-17 17:58:34 发布

薛薛的猫

最新推荐文章于 2025-03-17 17:58:34 发布

阅读量486

点赞数

分类专栏： 1+x 文章标签： linux zookeeper 分布式运维

本文链接：https://blog.youkuaiyun.com/weixin_51684449/article/details/117409053

版权

1+x 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了Zookeeper的集群部署，包括zookeeper的基本概念、角色、选主流程、同步流程和工作原理。在集群部署部分，讲解了节点规划、基础环境配置、安装JDK和Zookeeper、配置文件修改以及启动服务的步骤，最终成功搭建了Zookeeper集群。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、zookeeper简介

1、基本概念

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

2、zookeeper角色

zookeeper中的角色主要有以下三类：

角色	描述
领导者（Leader）	领导者负责进行投票和决议，更新系统状态
跟随者（Follower）	Follower用于接受客户请求并向客户端返回结果，在选主过程中参与投票
观察者（Observer）	ObServer可以接收客户端连接，将写请求转发给Leader节点，但ObServer不参与投票过程，只同步Leader的状态，ObServer的目的是为了扩展系统，提高读取速度
客户端（Client）	请求发起方

系统模型示意图：

3、zookeeper选主流程

当Leader崩溃或者Leader失去大多数的Follower，这时候ZK（ZooKeeper）进入恢复模式。恢复模式需要重新选举出一个新的Leader，让所有的Server都恢复到一个正确的状态。ZK的选举算法有2种。一种是基于basic paxos算法实现的，另外一种是基于fast paxos算法实现的。系统默认的选举算法为fast paxos。

basic paxos流程
① 选举线程由当前Server发起选举的线程担任，其主要功能是对投票结果进行统计，并选出推荐的Server；
② 选举线程首先向所有Server发起一次询问（包括自己）；
③ 选举线程收到回复后，验证是否是自己发起的询问（验证zxid是否一致），然后获取对方的id（myid），并存储到当前询问对象列表中，最后获取对方提议的Leader相关信息（ id和zxid），并将这些信息存储到当次选举的投票记录表中；
④ 收到所有Server回复以后，就计算出zxid最大的那个Server，并将这个Server相关信息设置成下一次要投票的Server；
⑤ 线程将当前zxid最大的Server设置为当前Server要推荐的Leader，如果此时获胜的Server获得n/2 + 1的Server票数，设置当前推荐的Leader为获胜的Server，将根据获胜的Server相关信息设置自己的状态；否则，继续这个过程，直到Leader被选举出来。
通过上述流程分析可以得出：要使Leader获得多数Server的支持，则Server总数必须是奇数2n+1，且存活的Server的数目不得少于n+1。
每个Server启动后都会重复以上流程。在恢复模式下，如果是刚从崩溃状态恢复或者刚启动的Server还会从磁盘快照中恢复数据和会话信息，ZK会记录事务日志并定期进行快照，方便在恢复时进行状态恢复。
fast paxos流程
在选举过程中，某Server首先向所有Server提议自己要成为Leader，当其它Server收到提议以后，解决epoch和zxid的冲突，并接受对方的提议，然后向对方发送接受提议完成的消息，重复这个流程，最后一定能选举出Leader。

4、同步流程

选完Leader以后，ZK就进入状态同步过程，具体方式如下。
① Leader等待Server连接；
② Follower连接Leader，将最大的zxid发送给Leader；
③ Leader根据Follower的zxid确定同步点；
④ 完成同步后通知Follower已经成为uptodate状态；
⑤ Follower收到uptodate消息后，又可以重新接受client的请求进行服务了。

5、工作流程

Leader工作流程
Leader主要有3个功能：
① 恢复数据；
② 维持与Learner的心跳，接收Learner请求并判断Learner的请求消息类型；
③ Learner的消息类型主要有PING消息、REQUEST消息、ACK消息、REVALIDATE消息，根据不同的消息类型，进行不同的处理。
PING消息是指Learner的心跳信息；REQUEST消息是Follower发送的提议信息，包括写请求及同步请求；ACK消息是Follower的对提议的回复，超过半数的Follower通过，则commit该提议；REVALIDATE消息是用来延长SESSION有效时间。
Leader的工作流程如下图所示，它启动了3个线程来实现功能。在实际实现中，流程要比该图复杂得多。

在这里插入图片描述

Follower工作流程
Follower主要有4个功能：
① 向Leader发送请求（PING消息、REQUEST消息、ACK消息、REVALIDATE消息）；
② 接收Leader消息并进行处理；
③ 接收Client的请求，如果为写请求，发送给Leader进行投票；
④ 返回Client结果。
Follower的消息循环处理如下几种来自Leader的消息：
① PING消息：心跳消息；
② PROPOSAL消息：Leader发起的提案，要求Follower投票；
③ COMMIT消息：服务器端最新一次提案的信息；
④ UPTODATE消息：表明同步完成；
⑤ REVALIDATE消息：根据Leader的REVALIDATE结果，关闭待REVALIDATE的SESSION，还是允许其接受消息；
⑥ SYNC消息：返回SYNC结果到客户端，这个消息最初由客户端发起，用来强制得到最新的更新。

二、zookeeper集群部署

节点规划

ip	主机名
192.168.200.11	zookeeper1
192.168.200.12	zookeeper2
192.168.200.13	zookeeper3

1、基础环境配置

主机名配置
3个节点主机名修改为zookeeper1、zookeeper2、zookeeper3
如下图所示：
配置/etc/hosts文件
在三个节点的/etc/hosts文件最后添加如下代码：

192.168.200.11 zookeeper1
192.168.200.12 zookeeper2
192.168.200.13 zookeeper3

配置yun源
代码如下：

#vi /etc/yum.repo.d/mall
[mall]
name=mall
baseurl=file:///opt/gpmall-repo
gpgcheck=0
enabled=1

2、搭建zookeeper集群

安装jdk环境
zookeeper是用Java编写的，因此在部署zk的机器上需要安装Java运行环境。为了正常运行zk，我们需要JRE1.6或者以上的版本。本文安装的是jdk1.8.0版本
代码入下：

#yum install -y java java-devel
#java -version    ##查看Java版本