Twitter Storm源代码分析之Nimbus/Supervisor本地目录结构

最新推荐文章于 2019-04-21 17:53:34 发布

cache007

最新推荐文章于 2019-04-21 17:53:34 发布

阅读量371

点赞数

分类专栏： storm

storm 专栏收录该内容

17 篇文章

订阅专栏

本文深入解析了Storm集群中Nimbus和Supervisor如何通过Zookeeper进行信息交换，包括他们在Zookeeper上的目录结构和存储的具体信息。详细介绍了配置文件、Topology代码、运行配置等关键数据的存放位置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们知道，storm集群里面工作机器分为两种一种是nimbus, 一种是supervisor, 他们通过zookeeper来进行交互，nimbus通过zookeeper来发布一些指令，supervisor去读zookeeper来执行这些指令，具体nimbus和supervisor在zookeeper上交换了哪些信息可以看一下这篇文章: Twitter Storm源代码分析之ZooKeeper中的目录结构。知道了他们在zookeeper存的信息之后，大家一定想知道nimbus和zookeeper在自己本机存了什么信息呢？这篇文章给你介绍。代码主要包括config.clj, nimbus.clj, supervisor.clj, worker.clj。

注意：下面目录结构里面， nimbus机器上面只有/nimbus目录，supervisor机器上面只有/supervisor目录和/workers目录。

      /{storm-local-dir}
     
      |
     
      |-/nimbus
     
      |   |
     
      |   |-/inbox                     -- 从nimbus客户端上传的jar包
     
      |   |  |                            会在这个目录里面
     
      |   |  |
     
      |   |  |-/stormjar-{uuid}.jar    -- 上传的jar包其中{uuid}表示
     
      |   |                               生成的一个uuid
     
      |   |
     
      |   |-/stormdist
     
      |      |
     
      |      |-/{topology-id}
     
      |         |
     
      |         |-/stormjar.jar        -- 包含这个topology所有代码
     
      |         |                         的jar包(从nimbus/inbox里
     
      |         |                         面挪过来的)
     
      |         |
     
      |         |-/stormcode.ser       -- 这个topology对象的序列化
     
      |         |
     
      |         |-/stormconf.ser       -- 运行这个topology的配置
     
      |
     
      |-/supervisor
     
      |   |
     
      |   |-/stormdist
     
      |   |   |
     
      |   |   |-/{topology-id}
     
      |   |      |
     
      |   |      |-/resources          -- 这里保存的是topology的
     
      |   |      |                        jar包里面的resources目录
     
      |   |      |                        下面的所有文件
     
      |   |      |
     
      |   |      |-/stormjar.jar       -- 从nimbus机器上下载来的
     
      |   |      |                        topology的jar包
     
      |   |      |
     
      |   |      |-/stormcode.ser      -- 从nimbus机器上下载来的
     
      |   |      |                        这个topology对象的序列
     
      |   |      |                        化形式
     
      |   |      |
     
      |   |      |-/stormconf.ser      -- 从nimbus机器上下载来的
     
      |   |                               运行这个topology的配置
     
      |   |
     
      |   |-/localstate                -- supervisor的localstate
     
      |   |
     
      |   |-/tmp                       -- 临时目录，从Nimbus上下
     
      |      |                            载的文件会先存在这个目
     
      |      |                            录里面，然后做一些简单
     
      |      |                            处理再copy到
     
      |      |                            stormdist/{topology-id}
     
      |      |                            里面去
     
      |      |-/{uuid}
     
      |         |
     
      |         |-/stormjar.jar        -- 从Nimbus上面download下
     
      |                                   来的工作jar包
     
      |
     
      |-/workers
     
      |
     
      |-/{worker-id}
     
      |
     
      |-/pids                  -- 一个worker可能会起多个子
     
      |   |                       进程所以可能会有多个pid
     
      |   |
     
      |   |-/{pid}             -- 运行这个worker的JVM的pid
     
      |
     
      |-/heartbeats            -- 这个supervisor机器上的
     
      |                        worker的心跳信息
     
      |
     
      |-/{worker-id}        -- 这里面存的是一个worker
     
      的心跳：主要包括心跳时
     
      间和worker的id