Apache Storm 安装部署
1、安装 ZooKeeper 详见我的另外一篇博文《ZooKeeper的集群搭建与配置》https://blog.youkuaiyun.com/qq_36508766/article/details/81336588
2、下载 Storm 安装包 下载: https://mirrors.tuna.tsinghua.edu.cn/apache/storm/
可选择你需要下载的版本,这里我用的是apache-storm-1.0.6.tar
3、上传安装包到集群服务器 put c:/apache-storm-1.0.6.tar
4、解压缩到安装目录 tar -zxvf apache-storm-1.0.6.tar.gz -C ~/apps/
5、修改配置文件 vim storm.yaml
增加以下几行数据:
#表示storm集群依赖的zookeeper
storm.zookeeper.servers:
- "hadoop01"
- "hadoop02"
- "hadoop03"
# 表示storm集群的主节点的主机名,用来做准备切换
nimbus.seeds: ["hadoop01", "hadoop02"]
注意格式
6、分发安装包
scp -r apache-storm-1.0.6/ hadoop02:$PWD
scp -r apache-storm-1.0.6/ hadoop03:$PWD
7、配置环境变量 export STORM_HOME=/home/hadoop/apps/apache-storm-1.0.6
export PATH=$PATH:$STORM_HOME/bin
8、启动
1、首先在主节点 hadoop01 和 hadoop02 机器上启动 nimbus:
nohup $STORM_HOME/bin/storm nimbus 1>~/logs/storm-nibus.log 2>&1 &
2、然后在主节点 hadoop01 和 hadoop02 节点上启动 Storm UI:
nohup $STORM_HOME/bin/storm ui 1>~/logs/storm-ui.log 2>&1 &
3、然后在每一个从节点 supervisor 上启动 supervisor 进程:
nohup $STORM_HOME/bin/storm supervisor 1>~/logs/storm-supervisor.log 2>&1 &
4、启动logview(可以不起):在Storm主节点上运行"bin/storm logviewer > /dev/null 2>&1 &"启动logviewer后台程序,并放到后台执行。
9、验证进程是否启动正常 10、验证 Storm UI
Hadoop01 上的 Storm UI:http://hadoop01:8080/index.html
Hadoop02 上的 Storm UI:http://hadoop02:8080/index.html