Storm 单机和分布式安装

1. Ubuntu下Storm单机版安装

  安装Storm还需要提前安装Python，Zookeeper，ZeroMQ，jzmq，然后才是Storm的安装和配置：

  1.1 安装Python

  一般Linux系统都会自带Python，如果没有可以按照以下步骤安装：

  wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz

  tar zxf Python-2.7.2.tgz

  cd Python-2.7.2

  ./configure

  make

  make install

  在/etc/ld.so.conf后追加/usr/local/lib/

  sudo ldconfig

  1.2 安装Zookeeper

  从人人的Apache镜像处下载Zookeeper

  wget http://labs.renren.com/apache-mirror/zookeeper/stable/zookeeper-3.4.4.tar.gz

  tar zxf zookeeper-3.4.4.tar.gz

  在/etc/profile或者~/.bashrc追加：

  export ZOOKEEPER_HOME=path/to/zookeeper.3.4.4

  export PATH=$PATH:$ZOOKEEPER/bin

  1.3 安装ZeroMQ

  wget http://download.zeromq.org/zeromq-2.1.7.tar.gz

  ./configure

  //在configure时可能会报缺包，安装即可：sudo apt-get install g++ uuid-dev

  make

  sudo make install

  sudo ldconfig

  1.4 安装jzmq

  git clone git://github.com/nathanmarz/jzmq.git

  //如果没有git，安装即可：sudo apt-get install git

   ./autogen.sh

  //可能会报缺包，安装即可： sudo apt-get install libtool auto-make

  ./configure

  //可能需要设置JAVA_HOME，export JAVA_HOME=path/to/java

  make

  sudo make install

  1.5 安装配置Storm

  wget https://github.com/nathanmarz/storm/downloads/storm-0.7.1.zip

  unzip storm-0.7.1.zip

  //没有unzip工具的话下载：sudo apt-get install unzip

  在/etc/profile追加

  export STORM_HOME=/path/to/Storm

  export PATH=$PATH:$STORM_HOME/bin

  1.6 测试

  Storm安装后可以进行简单的测试，测试用到的工程可以从github得到：

  git clone git://github.com/nathanmarz/storm-starter

  需要将这个工程编译成一个jar包，编译过程见[2]，我也有编译好的jar包，请致信kemaswill@163.com索取。

  测试：storm jar StormStarter.jar storm.starter.ExclamationTopology

 

  2 分布式Storm安装

  Storm集群包含一个中心节点Nimbus，多个从节点Supervisor。

  2.1 Zookeeper集群搭建

  首先我们需要搭建一个Zookeeper集群，搭建过程见[3]。

  2.2 安装依赖软件及Storm  

  我们在Storm的每个节点上安装Python，ZeroMQ，jzmq，Storm。

  2.3 配置Storm集群

  配置每个节点的Storm（根据前人[1]经验，每行要以空格开始，冒号后要有空格！）：

  配置conf/storm.yaml文件：

  nimbus.host: "nimbus"

  storm.local.dir: "path/to/local/dir"

  storm.zookeeper.servers:
   - "zookeeper1"
   - "zookeeper2"
   - "zookeeper3"

   storm.zookeeper.port: 2181

  其中nimbus.host为Nimbus节点的主机名或IP地址。

  storm.local.dir为存储相关信息比如jar，topology等的目录。

  storm.zookeeper.servers为zookeeper集群的主机名或IP地址。

  storm.zookeeper.port为Zookeeper服务的端口号，要和你的Zookeeper服务的端口号一致（2181是默认的）。

  以上配置需要在每个节点，包括Nimbus和Supervisor上配置，且前三项是必须的，第二项如果不设置会报Connection Refused错误。

  在Nimbus节点上的~/.storm/storm.yaml配置（没有该文件的话创建之）：

  nimbus.host: "nimbus"

  到这里Storm集群就配置完毕了。

  2.4 启动Storm集群

  在Nimbus节点上启动Nimbus服务：

  bin/storm nimbus &

  加&是为了在后台运行，否则当前的终端就不能再输入命令了

  在Nimbus节点上启动UI，这样就可以通过浏览器在http://nimbus-host:8080上观察整个Storm集群以及Topology的运行情况

  bin/storm ui &

  在Supervisor节点上启动Supervisor：

  bin/storm supervisor &

   这样整个Storm集群便启动了。

  2.5 Storm集群测试

  Storm集群的测试依然可以使用我们之前用过的StormStarter.jar,在Nimbus节点上执行：

  storm jar StormStarter.jar storm.starter.ExclamationTopology exclamation

  注意，与单机版Storm不同的是，我们在主类ExclamationTopology后面加了一个字符串 exclamation，该字符串是任意的，用来在集群中标示这个Topology，如果不填加这个字符串则该Topology会在单机环境下运行。

  参考文献：

  [1] Twitter Storm安装实战 主要参考该博文，但是其中的一些网址可能会找不到，在本文中更新。

  [2] 编译StormStarter 该博文的二 2）部分有详细介绍

  [3] Zookeeper集群安装配置