【流式计算】Twitter Storm源代码分析之Nimbus/Supervisor本地目录结构

indie-XinYe indie-XinYe 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 2.4k累计阅读 2.4k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄19年
关注
转载 最新推荐文章于 2026-02-17 00:17:32 发布 2.4k 阅读 AI 写同款· GEO 优化 ›
分布式实时计算—Storm—基础介绍 一、概念 Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的 数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。 二、集群架构 27.1.1.1. Nimbus(master-代码分发给Supervisor) Storm集群的Master节点，负责分发用户代码，指派给具体的Supervisor节点上的Worker节 点，去运行Topology对应的组件(Spout/Bolt)的Task。 ... 阅读详情
作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://xumingming.sinaapp.com/483/twitter-storm-code-analysis-local-dir/

 
我们知道，storm集群里面工作机器分为两种一种是nimbus, 一种是supervisor, 他们通过zookeeper来进行交互，nimbus通过zookeeper来发布一些指令，supervisor去读zookeeper来执行这些指令，具体nimbus和supervisor在zookeeper上交换了哪些信息可以看一下这篇文章: Twitter Storm源代码分析之ZooKeeper中的目录结构。知道了他们在zookeeper存的信息之后，大家一定想知道nimbus和zookeeper在自己本机存了什么信息呢？这篇文章给你介绍。代码主要包括config.clj, nimbus.clj, supervisor.clj, worker.clj。

注意：下面目录结构里面， nimbus机器上面只有/nimbus目录，supervisor机器上面只有/supervisor目录和/workers目录。

帮助
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
/{storm-local-dir}
   |
   |-/nimbus
   |   |
   |   |-/inbox                     -- 从nimbus客户端上传的jar包
   |   |  |                            会在这个目录里面
   |   |  |
   |   |  |-/stormjar-{uuid}.jar    -- 上传的jar包其中{uuid}表示
   |   |                               生成的一个uuid
   |   |
   |   |-/stormdist
   |      |
   |      |-/{topology-id}
   |         |
   |         |-/stormjar.jar        -- 包含这个topology所有代码
   |         |                         的jar包(从nimbus/inbox里
   |         |                         面挪过来的)
   |         |
   |         |-/stormcode.ser       -- 这个topology对象的序列化
   |         |
   |         |-/stormconf.ser       -- 运行这个topology的配置
   |
   |-/supervisor
   |   |
   |   |-/stormdist
   |   |   |
   |   |   |-/{topology-id}
   |   |      |
   |   |      |-/resources          -- 这里保存的是topology的
   |   |      |                        jar包里面的resources目录
   |   |      |                        下面的所有文件
   |   |      |
   |   |      |-/stormjar.jar       -- 从nimbus机器上下载来的
   |   |      |                        topology的jar包
   |   |      |
   |   |      |-/stormcode.ser      -- 从nimbus机器上下载来的
   |   |      |                        这个topology对象的序列
   |   |      |                        化形式
   |   |      |
   |   |      |-/stormconf.ser      -- 从nimbus机器上下载来的
   |   |                               运行这个topology的配置
   |   |
   |   |-/localstate                -- supervisor的localstate
   |   |
   |   |-/tmp                       -- 临时目录，从Nimbus上下
   |      |                            载的文件会先存在这个目
   |      |                            录里面，然后做一些简单
   |      |                            处理再copy到
   |      |                            stormdist/{topology-id}
   |      |                            里面去
   |      |-/{uuid}
   |         |
   |         |-/stormjar.jar        -- 从Nimbus上面download下
   |                                   来的工作jar包
   |
   |-/workers
       |
       |-/{worker-id}
           |
           |-/pids                  -- 一个worker可能会起多个子
           |   |                       进程所以可能会有多个pid
           |   |
           |   |-/{pid}             -- 运行这个worker的JVM的pid
           |
           |-/heartbeats            -- 这个supervisor机器上的
              |                        worker的心跳信息
              |
              |-/{worker-id}        -- 这里面存的是一个worker
                                       的心跳：主要包括心跳时
                                       间和worker的id

收录于
分布式

当前文章被收录于：

分布式
16 篇文章 0 人学习
订阅专栏 查看详情
流式计算

当前文章被收录于：

流式计算
13 篇文章 0 人学习
订阅专栏 查看详情
strom

当前文章被收录于：

strom
13 篇文章 0 人学习
订阅专栏 查看详情
标签
#代码分析 #twitter #jar #resources #download
#工作
Ansys疲劳仿真：工程结构寿命评估的实战方法论 做了这么多年仿真，有个感受越来越深——静力学算得再漂亮，疲劳寿命预测不对，项目照样过不了评审。不是因为理论有多复杂，而是因为疲劳损伤的物理机制本身就带有统计属性，材料内部的微观缺陷分布、应力集中位置、载荷谱的随机性，每一项都能让结果偏移20%甚至更多。本文从实战出发，梳理Ansys疲劳仿真的核心流程，重点讲清楚载荷类型选择、S-N曲线处理、应力集中修正这几个最容易出问题的环节。疲劳仿真做好了，最大的收获不是跑出一个漂亮的Damage云图，而是对结构的真实薄弱环节建立起量化的认知。 阅读详情

相关推荐

【Unity游戏开发】SDK接入与集成——小白入门篇

一、简介 　　通常一款游戏开发到后期，一般都会涉及到第三方SDK的接入与集成，对于不熟悉SDK接入的同学来说，接SDK每次都是云里雾里，而熟悉SDK接入的同学又觉得不断地重复做接入SDK工作这样没有成就感，太尼玛无聊了（Android渠道一弄就十几个，直接吐血）。其实通常情况下接入SDK都是很简单的一个过程，本系列博客就让马三和大家从小白开始，从零基础开始学习如何接入SDK以及一些常见的SDK的...

weixin_34195142的博客 5763

Storm上的Nimbus、Supervisor以及Worker之间的关系

1.Storm中各节点介绍 1.1 主控节点和工作节点 Storm将每个节点分为主控节点和工作节点两种，其中主控节点只有一个，工作节点可以有多个。 1.2 Nimbus 主控节点运行Nimbus守护进程，类似于Hadoop中的jobtracker，负责在集群中分发代码，对节点分配任务，并监视主机故障。 1.3 Supervisor 每个工作节点运行Supervisor守护进程，负责监听

cuihaolong的专栏 1万+

【STM32】基于STM32F103C8T6实现步进电机精准调速控制

本文详细介绍了如何使用STM32F103C8T6微控制器实现步进电机的精准调速控制。通过利用其内置定时器生成PWM脉冲，替代低效的延时方法，并结合TB6600驱动器进行硬件连接，可实现平滑、高效的电机速度控制。文章提供了基于HAL库的代码实战，包括速度与方向设置函数，并探讨了加减速规划等高级应用，帮助开发者彻底掌握步进电机驱动技术。

weixin_29169899的博客 485

Storm系列(九)架构分析之Supervisor-同步Nimbus的事件线程

Supervisor由三个线程组成，一个计时器线程和两个事件线程. 计时器线程负责维持心跳已经更新Zookeeper中的状态，还负责每隔一定的时间将事件线程需要执行的事件添加到其对应的队列中. 两个事件线程分别负责与Nimbus同步任务和根据任务变化同步管理Worker进程. 相关数据结构图： 同步Nimbus的事件线程 执行流程图： ...

weixin_30698527的博客 178

Bugku中的source

进入环境后 我们首先查看源码可以得到一个flag 这肯定是个假的（已经提交过了确实是个假的） 题目提示要用Linux 这里使用的是kali 我们首先dirsearch一下这个网站 可以看到有.git文件泄露 也可以点开那个链接但是在里面没有找到flag 然后选择下载这个.git文件 然后进入这个文件夹 输入git reflog查看文件状态 可以看到有四个都有flag is here 一个一个查看git show 然后在40c6d51中发现了我们需要的fl

A272036149的博客 1011

YOLOv8多传感器融合技术——毫米波雷达融合技术详解

本文介绍了YOLOv8与毫米波雷达融合技术在自动驾驶系统中的应用。毫米波雷达具有全天候工作、测距测速精准等优势，但存在分辨率低等局限。通过融合YOLOv8的视觉检测能力，可显著提升系统在恶劣环境下的感知性能。文章详细阐述了融合实现方法，包括雷达数据处理、目标投影匹配、置信度融合等关键技术，并提供了评估指标和应用场景分析。这种多传感器融合方案能有效弥补单一传感器的不足，为自动驾驶提供更可靠的环境感知能力，是实现高级别自动驾驶的重要技术支撑。

u010117029的博客 174

Storm工作原理&集群环境搭建

序言 Storm是Twitter开源的分布式实时大数据处理框架，最早开源于github，从0.9.1版本之后，归于Apache社区，被业界称为实时版Hadoop。 Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。 参考资料: https://www.cnblogs.com/xuwujing/p/8584684.html https://blog.youkuaiyun.com/u011082453/article/...

难得糊涂 1915

​ISP算法及架构分析介绍

ISP算法及架构分析介绍ISP即Image Signal Processor，是一种图像处理架构，不是我们用的下载器。ISP其实算是图像处理的一个特例，一般应用于前端设备（相对于SENSOR），从结果上看就是将RAW数据转换成压缩后的RGB（一般）数据，供后续CPU使用（识别、压缩等）。市面上很少有直接介绍ISP的书籍或者资料，今天我们主要是聊一聊ISP算法的架构，这样大...

OpenFPGA的博客 5404

Storm 的基本架构是什么？主要包括哪些核心组件？

Storm 的基本架构包括 Nimbus、Supervisor、Worker 进程和 ZooKeeper，这些组件协同工作，实现了高吞吐量、低延迟的实时数据处理。核心组件 Topology、Spout、Bolt 和 Stream Groupings 构成了 Storm 的计算逻辑，使得开发者可以灵活地构建复杂的实时数据处理流程。

weixin_45422672的博客 604

Web3：Ubuntu系统 使用Docker-compose方式部署blockscout浏览器&配置版本-v5.2.3-beta+charts图表

详细介绍了在Ubuntu 23.04系统上部署Blockscout浏览器的步骤，以及过程中遇到的问题进行一一解决。

鄙人kunzhi96，感恩遇见！ 2万+

【Microchip】微芯 MPLAB® X IDE开发环境新建项目(点亮1颗LED灯)(常用右键菜单快捷键)

1.新建项目2. 选择芯片型号和调试器3.选择编译器4.项目命名和选择文件路径5.新建成功，给项目添加main.c7.将新建的mainXC16.c文件添加进项目6000000UL这三个就是。

Naiva的博客 451

【流式计算】Twitter Storm源代码分析之Topology的执行过程

作者: xumingming | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明 网址: http://xumingming.sinaapp.com/647/twitter-storm-code-analysis-topology-execution/   我们通过前面的文章(Twitter Storm源代码分析之ZooKeeper中的目录结构)知道了storm集

sunxinhere的专栏 3100

uniapp - 微信支付报错 {“errMsg“:“requestPayment:fail:[payment微信:-1]General errors“} 详细解决办法，uniApp使用微信支付时报错

uniapp，微信支付报错，uniapp微信小程序 H5网页 安卓苹果ios真机调试时报错，uniapp真机测试微信支付报错如何解决，调用微信支付出现报错{"errMsg":"requestPayment:fail:[payment微信:-1]General errors"}，微信支付提示错误，uniapp进行微信支付时报错怎么解决，如何解决微信支付报错，uniapp微信支付报错fail，uni-app真机测试ios上报错，uniapp真机测试安卓手机第一次支付成功第二次就报错了，uniapp微信支付调用第

✅ 精选推荐文章 4133

storm实时流式计算框架集群搭建过程

storm实时流式计算框架集群搭建过程 分类： storm bigdata 大数据2012-08-22 16:03 78人阅读 评论(0) 收藏 举报                                               Storm集群安装配置过程

Cloud-Datacenter-Renewable Energy-Big Data-Model 2166

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

IEM模型，地表粗糙度模拟

利用微波反演土壤水分时候，利用IEM模型可以实现对随机地表的模拟

【详解】Storm配置项详解

本文详细介绍了Storm的主要配置项及其作用。通过合理调整这些配置，可以优化Storm集群的性能、稳定性和安全性，从而更好地满足实时大数据处理的需求。在实际部署时，还需要考虑集群规划、前置条件、环境搭建等步骤，确保集群的正确搭建和高效运行。当然可以。由于您没有指定特定的编程语言或应用场景，我会以 Python 为例，并给出一个简单的实际应用场景：通过 API 从一个在线商店获取商品数据。

牛肉胡辣汤 943

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具，可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

JStorm之Nimbus简介

一、简介 JStorm集群包含两类节点：主控节点（Nimbus）和工作节点（Supervisor）。其分别对应的角色如下： 1. 主控节点（Nimbus）上运行Nimbus Daemon。Nimbus负责接收Client提交的Topology，分发代码，分配任务给工作节点，监控集群中运行任务的状态等工作。Nimbus作用类似于Hadoop中JobTracker。 2. 工作节点（Supe

cache007的专栏 1952

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Storm中Numbus,zookeeper,Supervisor，worker作用，Storm任务提交过程，Storm组件本地目录树，Storm zookeeper目录树

1、Storm 任务提交的过程 2、Storm组件本地目录树 3、Storm zookeeper目录树

涂作权的博客 2722

JStorm之Supervisor启动流程

Supervisor中文翻译是监督者，意思简单明了，就是对资源进行监控，其实主要是woker资源。该组件所做的事情概括如下：     1、每隔一段时间发送心跳证明自己还活着     2、下载新的topology     3、释放无效的woker     4、分配新的任务   该组件主要包含：心跳线程、supervisor事件接受线程、处理线程，一旦事件接受到则会进入任务分配环节，主要逻辑

海盗的小菜园 4148

Storm系列(十一)架构分析之Supervisor-管理Worker进程的事件线程

处理流程： 方法原型： (defn sync-processes [supervisor]) 函数说明： Supervisor是一个supervisor-data对象. 从local-state中获取LS_LOCAL_ASSIGNMENTS集合<port,Assignment>集合,保存到assigned-executors。 调用re...

weixin_38170065的博客 228

Apache Storm 学习：Supervisor,Worker,Executor,Task

成功安装Storm环境之后，接下来的事情就是使用这个分布式实时计算框架来完成原来的读数据文件并导入MongoDB的工作了。

SHARE & TOP 3190

storm启动supervisor源码分析-supervisor.clj

supervisor是storm集群重要组成部分，supervisor主要负责管理各个"工作节点"。supervisor与zookeeper进行通信，通过zookeeper的"watch机制"可以感知到是否有新的任务需要认领或哪些任务被重新分配。我们可以通用执行bin/storm supervisor >/dev/null 2>&1 &来启动supervisor。bin...

weixin_30780649的博客 266

聊聊storm supervisor的启动

序 本文主要研究一下storm supervisor的启动 Supervisor.launch storm-core-1.2.2-sources.jar!/org/apache/storm/daemon/supervisor/Supervisor.java /** * Launch the supervisor */ public void launch() t...

weixin_33775572的博客 739

解决storm1.1.1集群找不到nimbus异常

各应用程序及版本 storm1.1.1zookeeper3.4.10 拓朴结构 nimbus、ui：CentOS65Appsupervisor：CentOS65M1、CentOS65M2、CentOS65M3 配置文件 zoo.cfg，zookeeper仅安装在三台supervisor服务器 server.6=CentOS65M1:2888:3888 serve

wender的专栏 1万+

JStorm之Supervisor简介

一、简介 Supervisor是JStorm中的工作节点，类似于MR的TT，subscribe zookeeper的任务调度结果数据，根据任务调度情况启动/停止工作进程Worker。同时Supervisor需要定期向zookeeper写入活跃端口信息以便Nimbus监控。Supervisor不执行具体处理工作，所有的计算任务都交Worker完成。从整个架构上看，Supervisor处在整个J

cache007的专栏 1902

Storm源码细读——Supervisor启动

空

Stiga Huang的专栏 866
上一篇： 【流式计算】Twitter Storm源代码分析之Tuple是如何发送的
下一篇： 【流式计算】Twitter Storm: Transactional Topolgoy简介
点赞 0
评论 0
书签 书签 0
indie-XinYe
indie-XinYe
博客等级 码龄19年 154粉丝 41原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值