分布式Apache ZooKeeper-3.4.6集群安装

本文详细介绍如何在三台主机上部署Apache ZooKeeper完全分布式集群,包括环境准备、配置文件编辑、日志设置、文件分发及启动步骤,适合分布式应用开发者参考。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Apache ZooKeeper是一个为分布式应用所设计的开源协调服务,其设计目的是为了减轻分布式应用程序所承担的协调任务。它可以为用户提供同步、配置管理、分组和命名等服务。在这里,对ZooKeeper的完全分布式集群安装部署进行介绍。

一、基本环境

JDK    :1.8.0_11 (要求1.6+)

ZooKeeper:3.4.6

主机数:3(要求3+,且必须是奇数,因为ZooKeeper的选举算法)
主机名 IP地址 JDK ZooKeeper myid
master 192.168.145.129 1.8.0_11 server.1  1
slave1 192.168.145.130 1.8.0_11 server.2  2
slave2 192.168.145.131 1.8.0_11 server.3  3

二、master节点上安装配置

1、下载并解压ZooKeeper-3.4.6.tar.gz

tar -zxvf zookeeper-3.4.6.tar.gz

这里路径为 /home/fesh/zookeeper-3.4.6

2、设置the Java heap size (个人感觉一般不需要配置)

保守地use a maximum heap size of 3GB for a 4GB machine

3、$ZOOKEEPER_HOME/conf/zoo.cfg

cp zoo_sample.cfg zoo.cfg

新建此配置文件,并设置内容

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/home/fesh/data/zookeeper
# the port at which the clients will connect
clientPort=2181

 server.1=master:2888:3888
 server.2=slave1:2888:3888
 server.3=slave2:2888:3888

4、/home/fesh/data/zookeeper/myid

在节点配置的dataDir指定的目录下面,创建一个myid文件,里面内容为一个数字,用来标识当前主机,$ZOOKEEPER_HOME/conf/zoo.cfg文件中配置的server.X,则myid文件中就输入这个数字X。(即在每个节点上新建并设置文件myid,其内容与zoo.cfg中的id相对应)这里master节点为 1

mkdir -p /home/fesh/data/zookeeper
cd /home/fesh/data/zookeeper
touch myid
echo “1” > myid

5、设置日志

conf/log4j.properties

# Define some default values that can be overridden by system properties
zookeeper.root.logger=INFO, CONSOLE

改为

# Define some default values that can be overridden by system properties  
zookeeper.root.logger=INFO, ROLLINGFILE

#
# Add ROLLINGFILE to rootLogger to get log file output
#    Log DEBUG level and above messages to a log file
log4j.appender.ROLLINGFILE=org.apache.log4j.RollingFileAppender

改为—每天一个log日志文件,而不是在同一个log文件中递增日志

#
# Add ROLLINGFILE to rootLogger to get log file output
#    Log DEBUG level and above messages to a log file
log4j.appender.ROLLINGFILE=org.apache.log4j.DailyRollingFileAppender

bin/zkEvn.sh


if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="."
fi

if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    ZOO_LOG4J_PROP="INFO,CONSOLE"
fi

改为


if [ "x${ZOO_LOG_DIR}" = "x" ]
then
    ZOO_LOG_DIR="$ZOOBINDIR/../logs"
fi

if [ "x${ZOO_LOG4J_PROP}" = "x" ]
then
    ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi

参考:Zookeeper运维的一些经验

http://mp.weixin.qq.com/s?__biz=MzAxMjQ5NDM1Mg==&mid=2651024176&idx=1&sn=7659ea6a7bf5c37b083e30060c3e55ca&chksm=8047384fb730b1591ff1ce7081822577112087fc7ec3976f020a263b503f6a8ef0856b3a3057&scene=0#wechat_redirect&utm_source=tuicool&utm_medium=referral

三、从master节点分发文件到其他节点

1、在master节点的/home/fesh/目录下

scp -r zookeeper-3.4.6 slave1:~/
scp -r zookeeper-3.4.6 slave2:~/
scp -r data slave1:~/
scp -r data slave2:~/

2、在slave1节点的/home/fesh/目录下

vi ./data/zookeeper/myid

修改为 2

3、在slave2节点的/home/fesh/目录下

vi ./data/zookeeper/myid

修改为 3

四、其他配置

1、在每个节点配置/etc/hosts (并保证每个节点/etc/hostname中分别为master、slave1、slave2) 主机 -IP地址映射

192.168.145.129 master
192.168.145.130 slave1
192.168.145.131 slave2

2、在每个节点配置环境变量/etc/profile

#Set ZOOKEEPER_HOME ENVIRONMENT
export ZOOKEEPER_HOME=/home/fesh/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin

五、启动

在每个节点上$ZOOKEEPER_HOME目录下,运行 (这里的启动顺序为 master > slave1 > slave2 )

bin/zkServer.sh start

并用命令查看启动状态

bin/zkServer.sh status

master节点

slave1节点

slave2节点

(注:之前我配置正确的,但是一直都是,每个节点上都启动了,但就是互相连接不上,最后发现好像是防火墙的原因,啊啊啊!一定要先把防火墙关了! sudo ufw disable )

查看$ZOOKEEPER_HOME/zookeeper.out 日志,会发现开始会报错,但当leader选出来之后 就没有问题了。

参考:

1、http://zookeeper.apache.org/doc/r3.4.6/zookeeperAdmin.html

2、一个很好的博客 http://www.blogjava.net/hello-yun/archive/2012/05/03/377250.html

### 在Hadoop完全分布式系统中下载并安装Zookeeper-3.4.6 #### 1. 下载ZooKeeper软件包 从Apache官方网站下载ZooKeeper3.4.6版本。可以使用以下链接进行下载: ```bash wget https://www.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz ``` 确保下载完成后解压该文件到指定目录[^1]。 #### 2. 分发ZooKeeper集群节点 将解压后的ZooKeeper分发到所有需要运行ZooKeeper服务的节点上。例如,假设主节点为`master`,从节点为`slave1`和`slave2`,可以使用以下命令进行分发: ```bash scp -r zookeeper-3.4.6/ hadoop@slave1:/opt/modules/ scp -r zookeeper-3.4.6/ hadoop@slave2:/opt/modules/ ``` 这一步确保了所有节点上都存在相同的ZooKeeper安装文件[^2]。 #### 3. 配置ZooKeeper环境 在每个节点上,进入ZooKeeper的配置目录并编辑`zoo.cfg`文件。一个典型的`zoo.cfg`配置文件内容如下: ```ini tickTime=2000 dataDir=/var/lib/zookeeper clientPort=2181 initLimit=5 syncLimit=2 server.1=ruozedata001:2888:3888 server.2=ruozedata002:2888:3888 server.3=ruozedata003:2888:3888 ``` 其中,`server.X`表示ZooKeeper集群中的每个节点,`X`是唯一的标识符。确保每个节点的`dataDir`路径已创建,并在该路径下创建一个名为`myid`的文件,内容为对应的`X`值。例如,在`ruozedata001`上,`myid`文件的内容应为`1`[^4]。 #### 4. 启动ZooKeeper服务 在每个节点上启动ZooKeeper服务。可以通过以下命令完成: ```bash cd /usr/local/zookeeper-3.4.6/bin/ ./zkServer.sh start ``` 启动后,可以检查服务状态: ```bash ./zkServer.sh status ``` 如果一切正常,输出中会显示JMX启用以及ZooKeeper服务已启动的信息[^4]。 #### 5. 验证ZooKeeper集群 通过客户端连接到任意一个ZooKeeper节点以验证集群是否正常工作。例如: ```bash ./zkCli.sh -server ruozedata001:2181 ``` 成功连接后,可以执行一些基本命令来测试集群功能,如`ls /`查看根节点下的内容。 #### 6. 集成Hadoop与ZooKeeper 为了使Hadoop高可用性(HA)配置能够利用ZooKeeper,需要在Hadoop的配置文件中指定ZooKeeper的地址。编辑`hdfs-site.xml`文件,添加以下属性: ```xml <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>ruozedata001:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>ruozedata002:8020</value> </property> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>ruozedata001:2181,ruozedata002:2181,ruozedata003:2181</value> </property> ``` 这些配置确保Hadoop的NameNode能够在故障切换时依赖ZooKeeper进行协调[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值