docker Zookeeper 集群安装与配置

最新推荐文章于 2025-01-27 09:00:00 发布

clypm

最新推荐文章于 2025-01-27 09:00:00 发布

阅读量1k

点赞数

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/clypm/article/details/79460961

版权

Hadoop 专栏收录该内容

28 篇文章

订阅专栏

docker

先使用Docker构建一个Zookeeper运行环境的镜像,之前做过Hadoop的集群，我做过一个镜像（这里）
然后使用这个镜像分别启动3个容器：1个Master节点，两个Slave节点
在Master节点上配置Slave节点信息
在Master上启动Zookeeper

Zookeeper安装

我使用的是zookeeper-3.4.11，其他版本请看这里

cd /usr/local/hadoop
wget http://apache.fayea.com/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz

tar -zxvf zookeeper-3.4.11.tar.gz

进入zookeeper创建data目录,该目录很重要，将要存放zookeeper的id号

cd zookeeper-3.4.11
mkdir data

进入conf 复制zoo.cfg

mv zoo_sample.cfg zoo.cfg
vi conf/zoo.cfg

添加server.x和修改dataDir

dataDir=/usr/local/hadoop/zookeeper-3.4.11/data
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里。
clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。
initLimit：这个配置项是用来配置 Zookeeper 接受客户端（这里所说的客户端不是用户连接 Zookeeper 服务器的客户端，而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间（也就是 tickTime）长度后 Zookeeper 服务器还没有收到客户端的返回信息，那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒
syncLimit：这个配置项标识 Leader 与 Follower 之间发送消息，请求和应答时间长度，最长不能超过多少个 tickTime 的时间长度，总的时间长度就是 2*2000=4 秒
server.A=B：C：D：其中 A 是一个数字，表示这个是第几号服务器；B 是这个服务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号

分别在data文件夹下面创建一个文件，叫myid vi myid

#比如我配置的三个server，当前服务器的ip是多少，myid里面写的X就是server.X=ip:2888:3888 中ip所对应的X

Zookeeper环境变量

新增配置 vi ~/.bashrc

# Zookeeper
export ZOOKEEPER_HOME=/usr/local/hadoop/zookeeper-3.4.11
export PATH=$ZOOKEEPER_HOME/bin:$PATH

生效配置 source ~/.bashrc

提交docker镜像

docker commit -m "hadoop zookeeper install" e64fb97e94d1   linux:hadoop

Zookeeper

重点来了

前面已经将Hadoop的镜像构建好了，下面就是使用这个镜像搭建Master节点和Slave节点了：

节点	hostname	ip	用途	Docker启动脚本
Master	master	10.0.0.2	follower or leader	docker run -p 50070:50070 -p 19888:19888 -p 8088:8088 -p 2181:2181 --name master -ti -h master linux:hadoop
Slave	slave1	10.0.0.3	follower or leader	docker run -it -h slave1 --name slave1 linux:hadoop /bin/bash
Slave	slave2	10.0.0.4	follower or leader	docker run -it -h slave2 --name slave2 linux:hadoop /bin/bash

这里有几个问题：

Docker容器中的ip地址是启动之后自动分配的，且不能手动更改
hostname、hosts配置在容器内修改了，只能在本次容器生命周期内有效。如果容器退出了，重新启动，这两个配置将被还原。且这两个配置无法通过commit命令写入镜像

配置hosts

通过ifconfig命令获取各节点ip。环境不同获取的ip可能不一样，例如我本机获取的ip如下：
- master:172.17.0.2
- slave1:172.17.0.3
- slave2:172.17.0.4
使用 vi /etc/hosts 命令将如下配置写入各节点的hosts文件，注意修改ip地址：
```
172.17.0.2      master
172.17.0.3      slave1
172.17.0.4      slave2
```
启动sshd /usr/sbin/sshd

分别添加三个节点的ID,注意主机名

echo "1" >> /usr/local/hadoop/zookeeper-3.4.11/data/myid
echo "2" >> /usr/local/hadoop/zookeeper-3.4.11/data/myid
echo "3" >> /usr/local/hadoop/zookeeper-3.4.11/data/myid

在各节点启动zookeeper或集群启动

bin/zkServer.sh start
或
start-zookeeper-quorum.sh

在任意节点执行 bin/zkCli.sh -server 127.0.0.1:2181
查看节点 bin/zkServer.sh status 如下

jps查看进程

查看zk的端口 netstat -apn | grep 2181

重新进入执行启动服务主机,docker ps -a 查看刚节点ID

docker exec -it be4588b7347b  /bin/bash