Twitter Storm 安装配置

现况：由很多Job队列和Worker组成的数据处理网，Worker处理队列消息，更新数据库供后续处理...

局限：配置不灵活，队列吞吐量低，没有多少容错，数据延迟明显

Storm：可用于处理消息和更新数据库（流处理），在数据流上进行持续查询，并以流的形式返回结果到客户端（持续计算），并行化一个类似实时查询的热点查询（分布式的RPC）；解决延迟、容错；可伸缩；

 

官方安装说明：https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster

 

依赖软件：python、zookeeper、zeromq、jzmq

 一、安装Python

wget  http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz

tar zxvf Python-2.7.2.tgz

        cd Python-2.7.2 ./configure

make

make install

vi /etc/ld.so.conf

追加/usr/local/lib/

sudo ldconfig

二、安装zookeeper

wget  http://labs.mop.com/apache-mirror/zookeeper/zookeeper-3.3.5/zookeeper-3.3.5.tar.gz

tar -zxvf zookeeper-3.3.5.tar.gz

cp -R zookeeper-3.3.5 /usr/local/

ln -s /usr/local/zookeeper-3.3.5/ /usr/local/zookeeper

vim /etc/profile (设置ZOOKEEPER_HOME和ZOOKEEPER_HOME/bin)

export ZOOKEEPER_HOME="/path/to/zookeeper"

export PATH=$PATH:$ZOOKEEPER_HOME/bin

cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg (用zoo_sample.cfg 制作$ZOOKEEPER_HOME/conf/zoo.cfg)

mkdir /tmp/zookeeper

mkdir /var/log/zookeeper

 

zookeeper的单机安装已经完成了。

 

三、安装zeromq以及jzmq

jzmq的安装貌似是依赖zeromq的，所以应该先装zeromq，再装jzmq。

1）安装zeromq：

wget http://download.zeromq.org/zeromq-2.2.0.tar.gz

tar zxf zeromq-2.2.0.tar.gz 

cd zeromq-2.2.0

./configure

make

make install

sudo ldconfig (更新LD_LIBRARY_PATH)

 

zeromq安装完成。

注意：如有有依赖报错，需要安装：

jzmq dependencies 依赖包

sudo yum install uuid*

sudo yum install libtool

sudo yum install libuuid 

sudo yum install libuuid-devel

2）安装jzmq

yum install git 

git clone git://github.com/nathanmarz/jzmq.git

cd jzmq

./autogen.sh

./configure

make

make install

然后，jzmq就装好了.

注意：在./autogen.sh这步如果报错：autogen.sh:error:could not find libtool is required to run autogen.sh，这是因为缺少了libtool，可以用#yum install libtool*来解决。

 

 

四、安装Storm

wget http://cloud.github.com/downloads/nathanmarz/storm/storm-0.8.1.zip

unzip storm-0.8.1.zip

mv storm-0.8.1 /usr/local/

ln -s /usr/local/storm-0.8.1/ /usr/local/storm

vim /etc/profile

export STORM_HOME=/usr/local/storm-0.8.1

export PATH=$PATH:$STORM_HOME/bin

 

到此为止单机版的Storm就安装完毕了。

 

五、测试一下本地模式的WordCount

下载storm-starter 编译，并导入eclipse 工程:

(http://blog.youkuaiyun.com/guoqiangma/article/details/7212677)

1. 下载strom starter的代码 git clone https://github.com/nathanmarz/storm-starter.git

2. 使用mvn -f m2-pom.xml package 进行编译

3. 复制 storm-starter目录下的m2_pom.xml 为pom.xml ，因为eclipse需要pom.xml

4. 使用mvn eclipse：eclipse编译成eclipse工程

5. 在Eclipse 中import 选择storm-starter 的路径，一般导入项目后，会需要设置相应的M2_查看工程是否无误， 可能会需要配置M2_REPO变量，

M2_REPO配置方法：工程上右键->Properties->Java Build Path->Libraries->AddVariable- >Configure Variable->New

输入Name:M2_REPO , Path:localRepository路径->ok刷新工程，代码无误了，可以进行开发了

6. 编译无误后，现在本地跑storm.starter目录下的WordCountTopology，看到如下的截屏，代表本地的local模 式可以跑通过

使用eclipse的export功能导出项目的jar包，便于以后分布式的情况下，提交相应的逻辑

Strom-Starter构建失败，缺少twitter4j包 的解决办法:

(http://www.cnblogs.com/zeutrap/archive/2012/10/11/2720528.html)

修改Storm-Starter的pom文件m2-pom.xml ，修改dependency中twitter4j-core 和 twitter4j-stream 两个包的依赖版本，如下：

<dependency>

    <groupId>org.twitter4j</groupId>

     <artifactId>twitter4j-core</artifactId>

    <version>[2.2,)</version>

</dependency>

<dependency>

    <groupId>org.twitter4j</groupId>

      <artifactId>twitter4j-stream</artifactId>

      <version>[2.2,)</version>

</dependency>

 

要注意上面的本地模式运行WordCount其实并没有使用到上述安装的工具，只是一个storm的虚拟环境下测 试demo。那我们怎样将程序运行在刚刚搭建的单机版的环境里面呢，

 

很简单，官方的例子：

 

注意看官方实例中WordCountTopology类如果不带参数其实是执行的本地模式，也就是刚说的虚拟的环境， 带上参数就是将jar发送到了storm执行了。

 

首先弄好环境：

 

启动zookeeper：

 

/usr/local/zookeeper/bin/zkServer.sh  单机版直接启动，不用修改什么配置，如集群就需要修改zoo.cfg

 

配置storm：

 

文件在/usr/local/storm/conf/storm.yaml

 

内容：

 storm.zookeeper.servers:

      - 127.0.0.1

 

  storm.zookeeper.port: 2181

 

 nimbus.host: "127.0.0.1"

 

  storm.local.dir: "/tmp/storm"

 

  supervisor.slots.ports:

  - 6700

  - 6701

  - 6702

  - 6703

 

这个脚本文件写的不咋地，所以在配置时一定注意在每一项的开始时要加空格，冒号后也必须要加空格，否则 storm就不认识这个配置文件了。

 

说明一下：storm.local.dir表示storm需要用到的本地目录。nimbus.host表示那一台机器是master机器， 即nimbus。storm.zookeeper.servers表示哪几台机器是zookeeper服务器。storm.zookeeper.port表 示zookeeper的端口号，这里一定要与zookeeper配置的端口号一致，否则会出现通信错误，切记切记。当 然你也可以配superevisor.slot.port，supervisor.slots.ports表示supervisor节点的槽数，就是最多能跑 几个worker进程（每个sprout或bolt默认只启动一个worker，但是可以通过conf修改成多个）。

 

执行：

 

# bin/storm nimbus（启动主节点）

 

# bin/storm supervisor（启动从节点）

 

执行命令：# storm jar StormStarter.jar storm.starter.WordCountTopology test

 

此命令的作用就是用storm将jar发送给storm去执行，后面的test是定义的toplogy名称。

 

搞定，任务就发送到storm上运行起来了，还可以通过命令：

# bin/storm ui

 

启动ui，可以通过 ip:8080/ 查看运行i情况。