strom 0.9.1 集群搭建

1、搭建zookeeper


     详细见： http://blog.youkuaiyun.com/w13770269691/article/details/25069715


2、安装nimbus和worker 机器依赖软件


     jdk1.6、python2.6.6


    官方建议安装指定版本，防止出现影响storm工作版本冲突


3、下载storm0.91

http://www.apache.org/dyn/closer.cgi/incubator/storm/apache-storm-0.9.1-incubating/apache-storm-0.9.1-incubating.zip

下载到nimbus和worker机器

4、修改storm.yaml文件

storm.yaml文件在解压目录下conf/storm.yaml

1) storm.zookeeper.servers:Storm  集群使用的Zookeeper集群地址

storm.zookeeper.servers:
- "192.168.10.56"
- "192.168.10.57"
- "192.168.10.58"

 2) nimbus.host:Storm 集群Nimbus机器地址，各个Supervisor工作节点需要知道哪个机器是Nimbus，以便下载Topologies的jars、confs等文件

nimbus.host: "192.168.10.56"

 3) storm.local.dir：Nimbus和Supervisor进程用于存储少量状态，如jars、confs等的本地磁盘目录，需要提前创建该目录并给以足够的访问权限。

storm.local.dir: "/opt/storm"

 4) supervisor.slots.ports:  对于每个Supervisor工作节点，需要配置该工作节点可以运行的worker数量。每个worker占用一个单独的端口用于接收消息，该配置选项即用于定义哪些端口是可被worker使用的。默认情况下，每个节点上可运行4个workers，分别在6700、6701、6702和6703端口

supervisor.slots.ports:  
    - 6700  
    - 6701  
    - 6702  
    - 6703 

5、启动storm

Nimbus: 在主控节点上运行 bin/storm nimbus &

Supervisor:在工作节点上运行 bin/storm supervisor &

UI:在主控节点上运行 bin/storm ui &

UI启动后可以在浏览器上输入主控节点ip:port(默认8080, 可以在storm.yaml 中通过ui.port: 修改，所有参数见文章最后链接),如:http://192.168.10.56:8080,

logviewer:logviewer 在Storm UI通过点击相应的Woker来查看对应的工作日志,在主控节点上运行biin/storm logviewer & 

6、查看进程

进程启动成功后，可以通过jps查看是否启动成功

[root@master bin]# jps
59601 nimbus
37104 QuorumPeerMain
60657 core
2709 logviewer
2829 Jps

7、注意事项

启动Storm后台进程时，需要对conf/storm.yaml配置文件中设置的storm.local.dir目录具有写权限。
Storm后台进程被启动后，将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。
Storm UI必须和Storm Nimbus部署在同一台机器上，否则UI无法正常工作，因为UI进程会检查本机是否存在Nimbus链接。
修改storm.yaml注意-后面要带空格

8、备注

关于storm.yaml的所有参数和值见:https://github.com/nathanmarz/storm/blob/master/conf/defaults.yaml?spm=0.0.0.0.jnX7V1&file=defaults.yaml

参考文献：http://storm.incubator.apache.org/documentation/Setting-up-a-Storm-cluster.html