Twitter Storm: 配置开发环境

最新推荐文章于 2020-11-07 10:27:20 发布

薄荷微光少年梦

最新推荐文章于 2020-11-07 10:27:20 发布

阅读量828

点赞数

分类专栏： Storm

Storm 专栏收录该内容

9 篇文章

订阅专栏

本文指导如何搭建TwitterStorm开发环境，包括本地模式与远程模式的使用，详细介绍了配置步骤、安装流程以及与远端集群通信的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://xumingming.sinaapp.com/149/twitter-storm-配置开发环境/

本文翻译自：https://github.com/nathanmarz/storm/wiki/Setting-up-development-environment

这篇文章介绍了如何配置一个storm的开发环境，总的来看有下面几个步骤：

下载storm的release版本，解压，并且把bin/目录加到环境变量PATH里面去。
为了让我们可以启动/停止远端storm集群上的topology, 把集群的信息配置在 ~/.storm/storm.yaml里面。

下面具体介绍。

storm开发环境到底是个什么样子

storm有两种操作模式: 本地模式和远程模式。使用本地模式的时候，你可以在你的本地机器上开发测试你的topology，一切都在你的本地机器上模拟出来; 用远端模式的时候你提交的topology会在一个集群的机器上执行。

一个storm开发环境安装了你使用本地模式开发测试topology; 把topology打包以部署到远端的集群; 提交，终止远端集群上的topology所需要的一切东西。

让我们快速看一下你的机器和远端storm集群之间的关系。storm集群是被一个称作Nimbus的控制节点所管理的。你的机器与nimbus通信以提交topology的代码，运行这个topology，而nimbus会自动在集群内部分发你的topology代码，分配任务给各个机器。你的机器使用一个称为storm的客户端去和nimbus通信。storm只有在远程模式的时候才有用；对于用本地模式开发、测试topology来说是没什么用的。

在本地机器安装一个storm

如果你想从你的机器提交topology给远端的storm集群，你应该在你的本地安装一个storm发行版。安装了storm发行版之后你会得到你和远端集群通信的工具: storm。为了在本地安装storm, 从这里下载代码，并且把它解压到你机器上的一个目录。然后把bin/目录添加到环境变量PATH里面去并且使bin/storm有可执行权限。

安装一个storm发行版只是用来和远端storm集群通信用的。而为了用本地模式开发测试topology，我们推荐你使用maven来把storm作为你的项目的一个dev依赖。关于使用Maven开发storm项目可以看这篇文章：Maven。