近日在研究,如何把Flume(数据收集)+kafka(数据传输)+Storm/Spark(数据处理)+Hbase/Redis(数据展现)的大数据在线分析处理架构添加到后台服务,便开始着手搭建各种集群。因为zookpeeper是分布式系统的基础,kafka Storm Spark都需要zookpeeper提供协调服务,所以我们从zookpeeper集群的搭建开始。
搭建zookpeeper集群需要的软件环境:
- linux服务器一台、三台、五台(2*n+1台)
- java jdk1.8
- zookeeper-3.4.6.tar.gz
由于zookpeeper超过半数以上提供服务,因此服务器为2*n+1台;
linux配置JDK可以参考:CentOS 7安装配置JDK
zookeeper-3.4.6.tar.gz下载地址:zookeeper-3.4.6.tar.gz
这里我们配置10.11.146.233服务器,10.11.146.234 10.11.146.235服务器配置雷同。
下载zookeeper-3.4.6.tar.gz到linux服务器后,我们便用tar -zxvf zookeeper-3.4.6.tar.gz命令解压zookpeeper。
然后用mkdir zkdata创建存储内存中数据库快照的目录,用mkdir zkdataLog创建更新事务日志存储目录。
进入到zookpeeper的conf目录,配置zookpeeper的zoo.cfg信息:
cd zookeeper-3.4.6/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
然后进入zkdata,配置myid
cd zookeeper/zkdata
echo “1” > myid
10.11.146.234输入echo “2” > myid
10.11.146.235输入echo “3” > myid
配置完成后,运行/bin下的zkServer.sh启动zookpeeper集群服务:./zkServer.sh start
运行./zkServer.sh status查看zookpeeper运行状态,如果zookpeeper的Mode为leader或follwer,证明集群服务启动成功。
到此,zookpeeper集群的搭建过程讲解完毕。