流处理框架 Storm 安装

最新推荐文章于 2019-09-21 22:52:37 发布

原创最新推荐文章于 2019-09-21 22:52:37 发布 · 168 阅读

0 ·

CC 4.0 BY-SA版权

Storm 专栏收录该内容

1 篇文章

订阅专栏

本文详细介绍了Apache Storm在伪分布式与集群环境下的安装步骤，包括Zookeeper配置、Storm解压与配置、各组件启动命令及WebUI访问方式，适用于初学者快速上手。

伪分布式安装

1. 首先配置 zookeeper. 见 -->  02 分布式协作框架zooKeeper#分布式模式

2. 下载 storm, 并解压.

3. cd apache-storm-1.0.6/conf,  vi storm.yaml
######################################################
########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "node02"
#
 nimbus.seeds: ["node02"]                # master 主机
 storm.local.dir: "/opt/app/apache-storm-1.0.6/job"
 supervisor.slots.ports:                          # work 进程的端口
    - 6700
    - 6701
    - 6702
    - 6703
 ui.port: 8081                                    # web ui 的端口, 默认是 8080
#######################################################

4. 启动, 将 zookeeper, storm 加载到 PATH 路径
    |- 先启动zk集群 zkServer.sh start   # 所有master work 都打开.
    |- nohup storm nimbus &            # master服务器,  nimbus
    |- nohup storm supervisor &        # work 服务器,  Supervisor. 所有 work 都开启.
    |- nohup storm ui &                # master 服务器
    |- nohup storm logviewer &         # work, master 服务器

TIPs 开启 web ui  --->   node02:8081

集群安装

1. 首先配置 zookeeper. 见 -->  02 分布式协作框架zooKeeper#分布式模式

2. 下载 storm, 并解压.

3. cd apache-storm-1.0.6/conf,  vi storm.yaml
######################################################
########### These MUST be filled in for a storm configuration
 storm.zookeeper.servers:
     - "bigdata.001.com"
     - "bigdata.002.com"
     - "bigdata.003.com"

#
 nimbus.seeds: ["bigdata.001.com"]                # master 主机
 storm.local.dir: "/opt/app/apache-storm-1.0.6/job"
 supervisor.slots.ports:                          # work 进程的端口
    - 6700
    - 6701
    - 6702
    - 6703
 ui.port: 8081                                    # web ui 的端口, 默认是 8080
#######################################################

4. 远程复制到 bigdata002, bigdata003.
    scp -pr apache-storm-1.0.6 bigdata002.com:/opt/app/
    scp -pr apache-storm-1.0.6 bigdata003.com:/opt/app/  

5. 启动, 将 zookeeper, storm 加载到 PATH 路径
    |- 先启动zk集群 zkServer.sh start   # 所有master work 都打开.
    |- nohup storm nimbus &            # master服务器,  nimbus
    |- nohup storm supervisor &        # work 服务器,  Supervisor. 所有 work 都开启.
    |- nohup storm ui &                # master 服务器
    |- nohup storm logviewer &         # work, master 服务器

TIPs 开启 web ui  --->   bigdata001.com:8081

6. 验证. 运行自带jar
    storm jar apache-storm-1.0.6/examples/storm-starter/storm-starter-topologies-1.0.6.jar org.apache.storm.starter.WordCountTopology wordcount