Zookeeper 搭建分布式集群

最新推荐文章于 2024-09-20 10:18:40 发布

原创最新推荐文章于 2024-09-20 10:18:40 发布 · 1.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#zookeeper #分布式 #大数据

D_分布式同时被 3 个专栏收录

14 篇文章

订阅专栏

从零开始的分布式

14 篇文章

订阅专栏

D_大数据

13 篇文章

订阅专栏

本文介绍如何在单机环境下配置伪分布式ZooKeeper集群，并进一步展示真分布式环境中ZooKeeper集群的搭建过程。文章详细记录了配置步骤、运行指令及验证数据一致性的方法。

1. 伪分布式

在单机上起3个不同端口号的进程，实现单机伪分布式集群，通过写入一个数据来验证数据一致性。

cp -r zookeeper-3.4.11/ zookeeper1/
cp -r zookeeper-3.4.11/ zookeeper2/
cp -r zookeeper-3.4.11/ zookeeper3/

配置

1）zoo.cfg配置文件

vim zookeeper2/conf/zoo.cfg

// 修改：
dataDir=/root/app/zookeeper2/dataDir
dataLogDir=/root/app/zookeeper2/dataLogDir
clientPort=2182
// 添加：
# 端口1：数据传播使用，端口2：选举模式使用
server.1 = 192.168.27.145:2888:3888
server.2 = 192.168.27.145:2889:3889
server.3 = 192.168.27.145:2890:3890

2）增加myid文件

vim zookeeper2/dataDir/myid

新建并添加：

3）zookeeper1和zookeeper3做同样的修改，把2对应处改成1或3即可。

运行

cd zookeeper1/bin/
./zkServer.sh start

cd zookeeper2/bin/
./zkServer.sh start

cd zookeeper3/bin/
./zkServer.sh start

// 添加数据
 ./zkCli.sh -server localhost:2181
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]
[zk: localhost:2181(CONNECTED) 1] create /data 123
Created /data
[zk: localhost:2181(CONNECTED) 2] ls /
[zookeeper, data]
// 退出
ctrl+c
// 验证其他端口
 ./zkCli.sh -server localhost:2183
[zk: localhost:2183(CONNECTED) 0] ls /
[zookeeper, data]
[zk: localhost:2183(CONNECTED) 1] get /data
123
cZxid = 0x100000004
ctime = Sat Jul 28 01:22:36 EDT 2018
mZxid = 0x100000004
mtime = Sat Jul 28 01:22:36 EDT 2018
pZxid = 0x100000004
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 3
numChildren = 0

2. 真分布式

起3个不同ip地址的服务器，通过zookeeper搭建分布式集群。
通过写入一个数据来验证数据一致性。
通过使leader宕机来验证Leader选举。

配置

1）/conf/zoo.cfg配置文件

// 修改：
server.1 = 192.168.27.145:2888:3888
server.2 = 192.168.27.138:2888:3888
server.3 = 192.168.27.135:2888:3888

2）对应修改/dataDir/myid

运行

三台机器分别启动：

cd bin/
./zkServer.sh start

查看机器状态：

./zkServer.sh status
>>> Mode: leader
>>> Mode: follower
>>> Mode: follower

验证1：数据一致性

./zkCli.sh -server 192.168.27.135:2181
[zk: 192.168.27.135:2181(CONNECTED) 0] ls /
[zookeeper, data, real-culster]
[zk: 192.168.27.135:2181(CONNECTED) 1] create /mytest 1234
Created /mytest
[zk: 192.168.27.135:2181(CONNECTED) 2] ls /
[mytest, zookeeper, data, real-culster]
[zk: 192.168.27.135:2181(CONNECTED) 3] get /mytest
1234

验证2：Leader选举

三台机器，使其中的leader宕机，随后查看另外两台机器测状态：

./zkServer.sh status
>>> Mode: leader
>>> Mode: follower

发现两台机器通过竞争产生了leader

使宕机的机器恢复，重新启动zookeeper，他的加入不会改变leader，自己成为了follower。