Storm集群部署

1、集群部署的基本流程

集群部署的流程：下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

注意：所有的集群上都需要配置hosts

         vi /etc/hosts

     192.168.223.100 storm01 zk01 hadoop01

     192.168.223.101 storm02 zk02 hadoop02

     192.168.223.102 storm03 zk03 hadoop03

2、集群部署的基础环境准备

安装前的准备工作（zk集群已经部署完毕）

     关闭防火墙

          chkconfig iptables off && setenforce 0

    创建用户

         groupadd realtime &&useradd realtime&& usermod -a -G realtime realtime

   创建工作目录并赋权

        mkdir /export

       mkdir /export/servers

      chmod 755 -R /export

   切换到realtime用户下

       su realtime

3、Storm集群部署

3.1、下载安装包

wget   http://124.202.164.6/files/1139000006794ECA/apache.fayea.com/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz

3.2、解压安装包

tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/

cd /export/servers/

ln -s apache-storm-0.9.5 storm

3.3、修改配置文件

mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak

vi /export/servers/storm/conf/storm.yaml

输入以下内容：

#指定strom使用的zk集群

storm.zookeeper.servers:

     - "node1"

     - "node2"

     - "node3"

# 指定storm集群中的nimbus节点所在的服务

nimbus.seeds: ["node1", "node2", "node3"]

# 指定storm文件存放目录

storm.local.dir: "/export/data/storm"

# 指定supervisor节点上，启动worker时对应的端口号，每个端口对应槽，每个槽位对应一个worker

supervisor.slots.ports:

    - 6700

    - 6701

    - 6702

    - 6703

 

3.4、分发安装包

scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers

然后分别在各机器上创建软连接

cd /export/servers/

ln -s apache-storm-0.9.5 storm

3.5、启动集群

在nimbus.host所属的机器上启动nimbus服务

cd /export/servers/storm/bin/

nohup ./storm nimbus &

在nimbus.host所属的机器上启动ui服务

cd /export/servers/storm/bin/

nohup ./storm ui &

在其它个点击上启动supervisor服务

cd /export/servers/storm/bin/

nohup ./storm supervisor &

3.6、查看集群

访问nimbus.host:/8080，即可看到storm的ui界面。