Storm集群的搭建

Storm集群的搭建

1.集群规划
以三台服务器hadoop02、hadoop03、hadoop04为例(已部署好zookeeper)，集群规划如下所示：

2.下载软件包
http://storm.apache.org
3.解压并重命名

tar -zxvf apache-storm-0.9.7.tar.gz -C /home/hadoop/apps
mv apache-storm-0.9.7.tar.gz

4.修改环境变量

export STORM_HOME=/home/hadoop/apps/storm
export PATH=$PATH:$STORM_HOME/bin

5.修改配置文件
vi storm.yaml

#配置zookeeper 
storm.zookeeper.servers:
     - "hadoop02"
     - "hadoop03"
     - "hadoop04"
#指定文件路径
 storm.local.dir: "/home/hadoop/data/stormdata"
#指定nimbus节点
 nimbus.host: "hadoop02"
#指定slots端口号，个数一般与CPU核数一致
 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

6.分发至集群其他节点

scp -r /home/hadoop/apps/storm hadoop@hadoop03:$PWD
scp -r /home/hadoop/apps/storm hadoop@hadoop04:$PWD

7.启动集群
在hadoop02上执行：

nohup storm ui > /dev/null 2>&1 &
nohup storm nimbus > /dev/null 2>&1 &

在hadoop02、hadoop03、hadoop04上执行：

nohup storm supervisor > /dev/null 2>&1 &