Storm安装

本文详细介绍了如何安装并配置Zookeeper、Storm和JZMQ,包括安装所需组件、启动服务和验证集群状态的过程。重点解决了安装过程中遇到的编译器和依赖库问题,并提供了启动和验证集群的步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、安装zeromq-2.1.9

  1. tar -xzf zeromq-2.1.9.tar.gz  
  2.   cd zeromq-2.1.9  
  3.   ./configure  
  4.   make  
  5.   make install 

# ./configure

报错configure: error: Unable to find a working C++ compiler

于是

1、出现错误:configure: error: Unable to find a working C++ compiler
需要安装g++编译器:

sudo yum install gcc-c++

2、出现错误:configure: error: cannot link with -luuid, install uuid-dev.
需要安装软件包uuid-devel和libuuid-devel:

1 sudo yum install uuid-devel
2 sudo yum install libuuid-devel

 

二、安装jzmq

git clone git://github.com/nathanmarz/jzmq.git

cd jzmq

./autogen.sh

./configure

make

make install

然后,jzmq就装好了.

注意:在./autogen.sh这步如果报错:autogen.sh:error:could not find libtool is required to run autogen.sh,这是因为缺少了libtool,可以用#yum install libtool*来解决。

 

三、安装zookeeper

安装zookeeper集群:(每台上操作一致)

 官方下载链接为http://hadoop.apache.org/zookeeper/releases.html,下载后解压安装Zookeeper包

 cd /data1/

 tar -zxvf zk-3.4.5.tgz

 cd zookeeper-3.4.5/

 

 

四、安装Strom 

wget http://cloud.github.com/downloads/nathanmarz/storm/storm-0.8.1.zip

 

 

五、启动服务

 按着配置的顺序依次启动zookeeper:

/usr/local/zookeeper-3.4.6/bin/zkServer.sh start

 启动后查看状态:

/usr/local/zookeeper-3.4.6/bin/zkServer.sh status

 

单机模式

storm nimbus &

storm supervisor &

storm ui &

再查看进程jps

 

 查看UI:在浏览器中输入http://localhost:8080

 将RtapStormTest.jar上传到storm的bin中(/usr/local/storm/bin)执行

 再查看UI中的Topology情况。 

 

 集群模式

Nimbus: 在Storm主控节点上运行"bin/storm nimbus >/dev/null 2>1 &"启动Nimbus后台程序,并放到后台执行;

Supervisor: 在Storm各个工作节点上运行"bin/storm supervisor >/dev/null 2>1 &"启动Supervisor后台程序,并放到后台执行;

UI: 在Storm主控节点上运行"bin/storm ui >/dev/null 2>&1 &"启动UI后台程序,并放到后台执行,启动后可以通过http://{nimbus host}:8080观察集群的worker资源使用情况、Topologies的运行状态等信息。

 

注意事项:

Storm后台进程被启动后,将在Storm安装部署目录下的logs/子目录下生成各个进程的日志文件。

经测试,Storm UI必须和Storm Nimbus部署在同一台机器上,否则UI无法正常工作,因为UI进程会检查本机是否存在Nimbus链接。

为了方便使用,可以将bin/storm加入到系统环境变量中。

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值