Storm 设置开发环境

本文详细介绍了如何在本地机器上安装并配置Storm开发环境,以及如何通过本地机器与远程集群进行交互,启动和停止远程集群上的拓扑。包括安装本地Storm release、配置远程集群信息、使用storm客户端等关键步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.下载 Storm release ,解压,把解压后的/bin路径添加到PATH环境变量。
2. 为了能启动和停止远程集群上的topologies,需要在 ~/.storm/storm.yaml 设置集群信息。
下面是这些步骤的更多细节。
什么是开发环境?
Storm有两种运行模式:本地模式和远程模式。
在本地模式下,你可以 在本地机器上完成topologies的开发和测试。
在远程模式下,你提交topologies到集群机器去执行。
 
Storm开发环境安装后,你可以在本地机器上开发和测试 topologies;也可以将 topologies打包,放到远程集群上执行;还可以提交或杀死远程集群上的topologies。
 
让我们快速了解下你的机器与远程集群之间的关系。一个storm集群由“Nimbus”(控制节点)管理。为了提交代码(jar包)到远程集群并执行 topologies,你的机器需要与Nimbus进行通讯,Nimbus负责分发代码到集群,分配worker运行你的 topologies。你的机器使用storm客户端(命令行)与Nimbus通讯,storm客户端仅用于远程模式;在本地模式开发和测试topologies并不需要storm客户端。
 
本地安装Storm
如果你想使你的机器能提交topologies到远程集群,你应该安装一个本地的 Storm release。安装storm release能得到一个 storm客户端,你能通过storm客户端与远程集群交互。本地安装Storm,需要从 这里下载一个发行版并解压它到你机器的某个地方,然后,设置解压包下的bin/目录到你的PATH环境变量,并确保能执行bin/storm解本。
 
安装本地Storm release仅仅是为了与远程集群交互。由于在本地模式开发和测试 topologies,推荐使用Maven来管理Storm依赖包。关于Maven管理storm的更多信息看 这里
 
启动/停止远程集群的拓扑
上一步在你机器安装了storm客户端,用于与远程集群通讯。现在你需要做的是告诉客户端要与哪个集群通讯。因此,你必须在 ~/.storm/storm.yaml 文件中配置master的主机地址,像这样:
lein run :deploy --attach --name mystormcluster
 
或者,如果你使用 storm-deploy项目在AWS上提供集群,它将自动配置你的 ~/.storm/storm.yaml 文件。你可以使用”attach”命令,手工绑定到一个storm集群(或在多个集群间切换),像这样:
nimbus.host: "123.45.678.890"
 
更多信息参见Storm部署 维基
 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值