大数据中Storm的安装

本文详细介绍了在Hadoop和ZooKeeper集群环境下搭建Apache Storm集群的过程,包括安装、配置、启动nimbus、ui和supervisor进程,以及如何验证集群是否正常工作,并运行自带示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我的集群有三个节点,主节点master,从节点 slave和slave1

1.安装的条件

Hadoop集群正常启动

ZooKeeper集群正常启动

2.解压安装

unzip apache-storm-0.9.6.zip

3.配置

1)环境变量配置

vim ~/.bash_profile

在.bash_profile配置文件中添加如下配置

export STORM_HOME=/home/yangxp/apache-storm-0.9.6

export PATH=$STORM_HOME/bin:$PATH

2)配置storm.yaml核心配置文件

storm.zookeeper.servers

- "master"

- "slave"

- "slave1"

nimbus.host=master

4.拷贝

将master节点上的storm安装文件和.bash_profile 一起拷贝到 slave 和 slave1节点

5.启动

在master主节点可以直接启动nimbus进程,如下

storm nimbus     日志被实时打印出来,当前页面一直处于日志的监测,如果关掉当前窗口,那我们的nimbus就被kill掉了。

storm ui   storm的ui界面,可以坐在浏览器访问

或者按照下面的方式启动

storm nimbus > /dev/null 2>&1 &    nimbus :负责资源分配和任务的调度

storm ui >/dev/null 2>&1 &     core :代表的就是storm的ui界面

在salve和slave1节点启动supervisor进程

storm supervisor > /dev/null 2>&1 &

6.验证

jps一下看看进程

也可以进入linux浏览器,输入master:8080顺利进入就成功了

7. 案例

验证成功可以跑一下storm自带的例子

storm jar ./storm-starter-topologies-0.9.6.jar  storm.starter.ExclamationTopology  aaaa

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值