storm集群安装步骤及遇到的坑

最新推荐文章于 2020-12-02 10:05:09 发布

原创最新推荐文章于 2020-12-02 10:05:09 发布 · 408 阅读

CC 4.0 BY-SA版权

本文介绍了Storm的下载、配置与启动过程。需先从指定地址下载Storm，确保已安装Zookeeper环境。接着进行解压、配置环境变量、修改storm.yaml文件、创建status文件等操作，将安装目录复制到其他节点后启动集群，还可通过UI观察资源使用情况并启动supervisor。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、下载storm

下载地址：https://storm.apache.org/downloads.html

需要确保已经安装好了zookeeper环境，在我的环境中已经搭建好了zookeeper集群环境。

1、解压

tar zxvf apache-storm-1.2.2.tar.gz

更改解压文件为 storm

2、配置环境变量

STORM_HOME=/opt/app/storm
PATH=$JAVA_HOME/bin:$PATH:$STORM_HOME/bin
export STORM_HOME
export PATH

3、配置storm.yaml文件！（很坑！！！）

cd /opt/app/storm/conf/

vim storm.yaml

增加以下配置！

 storm.zookeeper.servers:
     - "10.237.79.150"
     - "10.237.79.151"
     - "10.237.79.152"
 nimbus.host: "10.237.79.147"
 storm.local.dir: "/opt/app/storm/status"
 supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703

注意：一、“-”后面必须有空格，“:”后必须有空格。

二、每行开头都要有空格！！！

三、之后启动supervisor的时候，storm.local.dir的路径下面必须先清空！！！（不然会倒是storm的UI界面不能显示多个supervisor注册上）

4、创建status文件

cd /opt/app/storm

mkdir status

5、复制storm安装目录到其他节点

scp -r storm/ root@10.*.*.*:/opt/app

6、启动集群

storm nimbus &
storm ui &

这时可以登录

http://{nimbus host}:8080观察集群的worker资源使用情况

7、启动supervisor（这里同时把leader也启了supervisor）

storm supervisor &

8、storm UI