在Centos集群上搭建Storm完全分布式环境

本文详细介绍如何在三台Linux服务器上部署Apache Storm集群,包括环境准备、安装步骤、配置详解及启动过程。通过具体实例帮助读者快速搭建并运行Storm集群。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、环境准备

  1. 集群:三台linux服务器,系统不限写博客
  2. 三台服务器的zookeeper已安装并处于运行阶段
  3. 三台服务器的jdk1.8环境已安装,如没有,请参考我的博客
  4. 集群环境如下:
    #OShostnameipsoftwarenotes
    1centosmaster192.168.0.1   
    zookeeper
    storm
    主控节点
    2centosnode1192.168.0.2
    zookeeper
    storm
    工作节点
    3centosnode2192.168.0.3zookeeper
    storm
    工作节点
  5. hostname设置和相关免密登录请参考 hadoop集群搭建的设置

二、Storm安装

2.1 下载storm

# wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz

2.2 安装

解压缩到特定位置,我这里选择目录位置为

/usr/local/storm

进入storm文件夹,使用下面命令创建一个storm临时文件夹

cd /usr/local/storm
mkdir data

进入/usr/local/storm/conf下修改storm.yarm配置文件

cd /usr/local/storm/conf
vim storm.yarm

修改对应部分如我的所示:


配置解释:
  • storm.zookeeper.servers:表示zookeeper的集群地址,如果Zookeeper集群使用的不是默认端口,那么还需要配置storm.zookeeper.port
  • storm.zookeeper.port: Zookeeper集群的端口号
  • storm.local.dir: 用于配置Storm存储少量文件的路径
  • nimbus.seeds: 用于配置主控节点的地址,可以配置多个

2.3 复制配置到另外的机器上

复制配置好的storm到其他两台主机:

scp -r usr/local/storm/ node1:usr/local/  
scp -r sr/local/storm/ node2:usr/local/ 

三、配置环境变量

vim /etc/profile

在文档的最下面添加如下配置

# storm
export STORM_HOME=/usr/local/storm
export PATH=$PATH:$STORM_HOME/bin

最后再使用命令

source /etc/profile

使得配置生效

注:所有节点都需要设置

四、启动Storm

4.1 启动主控节点

#主节点上运行
nohup $STORM_HOME/bin/storm nimbus &

4.2 启动工作节点

#从节点上运行
nohup $STORM_HOME/bin/storm supervisor &

注意:有几个从节点就要分别在从节点上运行上述代码

4.3 启动管理页面

#主控节点上运行
nohup $STORM_HOME/bin/storm ui &

4.4 在管理页面上查看Storm集群的情况(查看是否运行成功)

默认端口号8080.需要关闭防火墙或者打开相应的端口号即可。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值