Apache Storm 2.0.0-SNAPSHOT源码分析笔记(一)

最新推荐文章于 2022-07-12 10:43:57 发布

iHge2k

最新推荐文章于 2022-07-12 10:43:57 发布

阅读量2.9k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Apache-Storm 文章标签： storm thrift

本文链接：https://blog.youkuaiyun.com/zjsyhjh/article/details/51263749

本文详细解析了Apache Storm客户端如何将用户创建的topology提交到Nimbus的过程。通过分析WordCountTopology示例，展示了TopologyBuilder的使用以及StormSubmitter如何提交topology。提交过程中，Storm client首先通过Thrift接口与Nimbus交互，再由Supervisor下载任务并在Worker中运行。同时，深入探讨了命令行参数、配置文件的处理，以及Jar文件的上传机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Topology提交过程
- Storm client负责将用户创建的topology提交到nimbus
- Nimbus通过thrift接口接收用户提交的topology
- Supervisor通过zookeeper提示的消息下载最新的任务安排，并负责启动worker
- Worker内可以运行task，task类型为spout或bolt
- Executor是一个个运行的线程，同一个executor运行同一种类型的task，即为spout或者bolt

从WordCountTopology入手分析

先来看一段位于example/storm-starter目录下的WordCountTopology.java文件中的代码

public static void main(String[] args) throws Exception {
    TopologyBuilder builder = new TopologyBuilder();
    builder.setSpout("spout", new RandomSentenceSpout(), 5);
    builder.setBolt(