搭建HA storm集群

本文详细介绍了如何在CentOS15、CentOS19和CentOS20节点上搭建HA Storm集群,包括Nimbus、Supervisor和Zookeeper的部署。配置了storm.yaml文件,指定Zookeeper服务器列表和本地目录。在所有服务器同步配置后,依次启动ZooKeeper集群、Nimbus、UI以及Supervisor。最后通过界面监控和提交WordCountTopology任务验证集群运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

各节点分配:
Nimbus Supervisor Zookeeper
CentOS15 1 1
CentOS19 1 1
CentOS20 1 1

搭建zookeeper集群:
忘记了去查之前的笔记

解压软件storm:
tar zxvf stormXXX

编辑配置文件:vim conf/storm.yaml

# limitations under the License.

storm.zookeeper.servers:
- “CentOS15”
- “CentOS19”
- “CentOS20”

storm.local.dir: “/tmp/storm”

nimbus.host: “CentOS15”

supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

##### These MUST be filled in for a storm configuration
# storm.zookeeper.servers:
# - “CentOS15”
# - “CentOS19”
# - “CentOS20”

在storm目录中创建logs目录
$ mkdir logs

集群当中所有服务器,同步所有配置!

启动ZooKeeper集群

CentOS15上启动Nimbus(注意在/opt/storm目录下执行)
./bin/storm nimbus >> ./logs/nimbus.out 2>&1 & tail -f logs/nimbus.log
./bin/storm ui >> ./logs/ui.out 2>&1 & tail -f logs/ui.log

节点CentOS19和CentOS20启动supervisor,按照配置,每启动一个supervisor就有了4个slots
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 & tail -f logs/supervisor.log
(当然node1也可以启动supervisor)

界面查看
http://node1:8080/

提交任务到Storm集群当中运行:
$ ./bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology test

环境变量可以配置也可以不配置
export STORM_HOME=/opt/sxt/storm
export PATH= PATH: STORM_HOME/bin

观察关闭一个supervisor后,nimbus的重新调度
再次启动一个新的supervisor后,观察,并rebalance

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值