zookeeper,storm集群部署

本文详细介绍了在CentOS Linux环境下,如何从零开始搭建并配置ZooKeeper集群及Apache Storm集群,包括主机名设置、hosts文件配置、ZooKeeper与Storm的安装与配置步骤。

一、安装环境

二、配置主机

1、修改主机名

192.168.31.128主机名为nimbus

[root@localhost ~]# hostnamectl set-hostname nimbus
[root@localhost ~]# hostnamectl # 进行查看
   Static hostname: nimbus
         Icon name: computer-vm
           Chassis: vm
        Machine ID: 9c87704ce3d94696bb0d7f42391344ce
           Boot ID: 33382d7142944f5c9138afec2111e77f
    Virtualization: vmware
  Operating System: CentOS Linux 7 (Core)
       CPE OS Name: cpe:/o:centos:centos:7
            Kernel: Linux 3.10.0-862.3.2.el7.x86_64
      Architecture: x86-64

配置其他两台192.168.31.132,192.168.31.133主机名分别为supervisor1和supervisor2。

2、配置“/etc/hosts”文件,方便直接通过主机名访问主机。

主机名为nimbus的/etc/hosts更新:

supervisor1的机器/etc/hosts更新:

supervisor2类似,重启让hosts生效

三、安装zookeeper

1、将zookeeper-3.4.12.tar.gz解压到/data2/frame/目录下,将zookeeper-3.4.12目录名改为。

    2、分别创建data和logs目录   

    3、创建配置文件zoo.cfg

    该文件是不存在的,需要到zookeeper的conf目录下,拷贝zoo-sample.cfg,并将名称修改为zoo.cfg。

   4、配置zookeeper

配置说明:添加我们的服务器,其中等号前面的“0”,“1“,”2“表示的是id,必须唯一且是数字,保存在dataDir目录下的myid文件中。等号右边的nimbus、supervisor1、supervisor2是集群服务器名,2888是follower和集群中的leader交换消息所使用的端口。3888是选举leader时所使用的端口。

  5、在data文件夹中创建myid文件,里面内容是server.N中的N。

  6、复制配置好的zookeeper到其他两台主机上

  7、启动ZooKeeper服务器

  8、查看zookeeper状态

status 显示是 “Mode: standalone" , 也就是单机模式;“Mode:leader“和“Mode : follower”,表示集群模式。

  9、启动CLI

  10、停止ZooKeeper服务器

四、安装storm

  1、解压安装包apache-storm-1.2.2.tar.gz到“/data2/frame"文件夹下

  2、添加环境变量

  3、Nimbus节点storm.yaml配置

修改为主机名或者IP

配置解释:

      (1)storm.zookeeper.servers表示配置Zookeeper集群地址。注意,如果zookeeper集群中使用的不是默认端口,则还需要配置storm.zookeeper.port.

      (2)nimbus.seeds表示配置主控节点,可以配置多个。

其他参数的配置:

4、Supervisor节点storm.yaml配置

将nimbus下的storm传输到supervisor节点指定目录下:

Supervisor安装的时候,只需要指定Nimbus地址,就可以自动加入Storm集群。

  5、启动storm

(1)启动主控节点服务

(2)启动工作节点

  6、验证是否启动完成http://192.168.17.133:8080/

至此,storm集群部署完成,该文档经个人实践可行,记录下来仅供自己以后参考,并无他用。

参考地址:https://blog.youkuaiyun.com/learn_tech/article/details/80652040

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值