Storm集群搭建

搭建storm集群

（1）下载Storm   ---apache-storm-1.1.1.tar.gz。

（2）解压文件修改storm.yaml添加集群配置信息：

        ①去掉storm.zookeeper.servers:前面的注释，修改为集群中所有部署zookeeper的主机，当然都可以自己手动添加，具体配置如下：

   

    ②增加storm.local.dir选项，指定nimbus，supervisor进程用于存储少量的状态数据，比如jar包，配置文件等，待会写好配置文件我们需要手动建立这个目录。

      

    ③下面指定supervisor工作节点，需要配置该节点可以运行的worker数量，每个worker占用一个端口用于接收消息，最多分配5个；默认情况下每个节点可以运行4个worker，分别在6700、6701、6702、6703端口，这里定义3个端口，代表最多运行3个worker：

     

    ④下面设置集群主机，让集群中所有的节点可以从主机下载拓扑以及配置文件，主机上运行的就是nimbus，而其他节点就是supervisor进程，这里PC02为nimbus，而PC[03-07]为supervisor，所以配置如下：

     

        ⑤下面配置storm集群的drpc地址，这里就是PC02，实际中可以自己定义：

     

    ⑥最后配置storm进程的分配内存，默认情况下Storm启动worker进程时，JVM的最大内存是768M，由于在使用过程中，Bolt中加载大量数据，768M内存无法满足要求，会导致内存溢出，应该根据实际情况进行修改，这里设置为2G。

   

（3）然后在3台主机分别创建上面设置的数据目录，必须都要创建：mkdir -p /usr/data/storm上面的配置是在主节点上配置的，接下来要把storm目录发送到从节点。

（4）使用storm脚本启动相应服务并查看服务状态

     主节点bin/storm nimbus &

     从节点  bin/storm supervisor &

（5）通过web查看storm集群的状态

     主节点 bin/storm ui & 默认端口8080