Storm集群搭建

本文详细介绍了如何在四台虚拟机上搭建并运行Storm集群,包括安装配置ZooKeeper、解压及配置Storm、启动各组件和服务、提交作业等步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

虚拟机4台:hdp0  hdp1  hdp2  hdp3


1、在hdp0、hdp1、hdp2安装ZooKeeper;


2、将Storm安装包解压到hdp0上;


3、修改conf/storm.yaml

storm.zookeeper.servers: 

-"hdp0"

-"hdp1"

-"hdp2"

nimbus.host:"hdp0"

可选配置项:

supervisor.slots.ports

-6701

-6702

-6703

-6704

-6705

配置supervisor的slots数,即worker数。默认为前4个。


4、将配置好的Storm文件夹scp至hdp1、hdp2、hdp3


5、启动

前台程序,关闭窗口,则程序退出


在nimbus主机上

bin/storm nimbus        

bin/storm ui      此命令启动web服务,8080端口


在supervisor上

bin/storm supervisor


6、提交jar包

bin/storm jar xxx.jar 包名.类名


7、停止Topology

bin/storm list  //列出正在运行的topology

bint/storm kill topo_name  //杀掉topo_name



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值