理解 Storm 拓扑的并行度(parallelism)概念

Apache Flink与Storm流处理框架性能对比与优化实践 流处理技术作为实时计算的核心组件,在金融交易、物联网监测等场景中发挥着关键作用。其核心原理是通过分布式架构对持续产生的数据流进行低延迟处理,实现毫秒级响应。Apache Flink和Storm作为主流流处理框架,在吞吐量、容错机制和资源管理等方面各有特点。本次测试基于Kafka构建50万QPS的交易数据流,重点对比了两者在Exactly-Once语义保障、动态扩缩容和复杂事件处理等关键指标的表现。结果显示Flink凭借其状态管理和检查点机制,在吞吐量和故障恢复方面优势明显,特别适合需要高可靠性的交易系统。同 阅读详情

 

组成:一个运行中的拓扑是由什么构成的:工作进程(worker processes),执行器(executors)和任务(tasks)!

在一个 Storm 集群中,Storm 主要通过以下三个部件来运行拓扑:

  1. 工作进程(worker processes)
  2. 执行器(executors)
  3. 任务(tasks).`  

下面是他们之间相互关系的简单图示。

relationship

在 Worker 中运行的是拓扑的一个子集。一个 worker 进程是从属于某一个特定的拓扑的,在 worker 进程中会运行一个或者多个与拓扑中的组件相关联的 executor。一个运行中的拓扑就是由这些运行于 Storm 集群中的很多机器上的进程组成的。

一个 executor 是由 worker 进程生成的一个线程。在 executor 中可能会有一个或者多个 task,这些 task 都是为同一个组件(spout 或者 bolt)服务的。

task 是实际执行数据处理的最小工作单元(注意,task 并不是线程) —— 在你的代码中实现的每个 spout 或者 bolt 都会在集群中运行很多个 task。在拓扑的整个生命周期中每个组件的 task 数量都是保持不变的,不过每个组件的 executor 数量却是有可能会随着时间变化。在默认情况下 task 的数量是和 executor 的数量一样的,也就是说,默认情况下 Storm 会在每个线程上运行一个 task。

配置拓扑的并行度(parallelism)

注意,这里所说的术语“并行度”主要是用于表示所谓的 parallelism_hint,它代表着一个组件的初始 executor (也是线程)数量。在这篇文章里,我们使用这个“并行度”术语来说明在 Storm 拓扑中既可以配置 executor 的数量,也可以配置 worker 和 task 的数量。如果“并行度”的概念需要表示其他的一般情况,我们也会特别指出。

下面的内容里显示了很多可配置选项,以及在代码中配置他们的方法。可以用于配置的方法有很多种,这里列出的只是其中一部分。另外需要注意的是,

Storm 的配置优先级为 defaults.yaml < storm.yaml < 拓扑配置 < 内置型组件信息配置 < 外置型组件信息配置。

Worker 数量

Executors(线程)数量

  • 说明:每个组件需要的执行线程数
  • 配置选项:(没有拓扑级的通用配置项)
  • 在代码中如何使用(示例):

Tasks 数量

以下是配置上述参数的一个简单示例代码:

topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2)
               .setNumTasks(4)
               .shuffleGrouping("blue-spout);

在上面的代码中,我们为 GreenBolt 配置了 2 个初始执行线程(executor)和 4 个关联任务(task)。这样,每个执行线程中会运行 2 个任务。如果你在设置 bolt 的时候不指定 task 的数量,那么每个 executor 的 task 数会默认设置为 1。

拓扑示例

下图显示了一个与实际应用场景很接近的简单拓扑的结构。这个拓扑由三个组件构成:一个名为 BlueSpout 的 spout,和两个名为 GreenBolt 和 YellowBolt 的 bolt。这些组件之间的关系是:BlueSpout 将它的输出发送到 GreenBolt 中,然后GreenBolt 将消息继续发送到 YellowBolt 中。

running-topology

图中是一个包含有两个 worker 进程的拓扑。其中,蓝色的 BlueSpout 有两个 executor,每个 executor 中有一个 task,并行度为 2;绿色的 GreenBolt 有两个 executor,每个 executor 有两个 task,并行度也为2;而黄色的 YellowBolt 有 6 个 executor,每个 executor 中有一个 task,并行度为 6,因此,这个拓扑的总并行度就是 2 + 2 + 6 = 10。具体分配到每个 worker 就有 10 / 2 = 5 个 executor。

上图中,GreenBolt 配置了 task 数,而 BlueSpout 和 YellowBolt 仅仅配置了 executor 数。下面是相关代码:

Config conf = new Config();
conf.setNumWorkers(2); // use two worker processes

topologyBuilder.setSpout("blue-spout", new BlueSpout(), 2); // set parallelism hint to 2

topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2)
               .setNumTasks(4)
               .shuffleGrouping("blue-spout");

topologyBuilder.setBolt("yellow-bolt", new YellowBolt(), 6)
               .shuffleGrouping("green-bolt");

StormSubmitter.submitTopology(
        "mytopology",
        conf,
        topologyBuilder.createTopology()
    );

当然,Storm 还有一些其他的配置项可以控制拓扑的并行度,包括:

如何修改运行中的拓扑的并行度

Storm 的一个很有意思的特点是你可以随时增加或者减少 worker 或者 executor 的数量,而不需要重启集群或者拓扑。这个方法就叫做再平衡(rebalance)。

有两种方法可以对一个拓扑执行再平衡操作:

  1. 使用 Storm UI
  2. 使用以下所示的客户端(CLI)工具

下面是使用 CLI 工具的一个简单示例:

## 重新配置拓扑 "mytopology",使得该拓扑拥有 5 个 worker processes,
## 另外,配置名为 "blue-spout" 的 spout 使用 3 个 executor,
## 配置名为 "yellow-bolt" 的 bolt 使用 10 个 executor。

$ storm rebalance mytopology -n 5 -e blue-spout=3 -e yellow-bolt=10
原文:http://weyo.me/pages/techs/storm-translations-understanding-the-parallelism-of-a-storm-topology/ ;

分类: storm

 

« 上一篇:【转】Storm并行度详解
» 下一篇:Storm 分配逻辑

LVGL 丝滑菜单3(Silk Menu) h。 阅读详情

相关推荐

VulnHub靶机渗透实战(详细思路讲解)

使用kali中的namp工具扫描开放端口,这时kali会用一个端口号向目标主机的65535个端口发送TCP连接建立请求,回应了ack=1,syn=q的端口就是开放端口号,这里可以看到21,22,80,3306号端口是开放的。可以看到这里得到了很多哈希,带*号的是禁用的或者是空密码,将三个不带星号的密码复制下来,创建一个shell.txt文档,将三个密码复制进去。这里看到我们是没有成功进入这个网页的,应该是目录的问题,我们将目录修改一下,但是没有显示出来,可能是编码问题,再回到我们找到的源码。

weixin_65891791的博客 2549

Storm Trident示例shuffle&parallelismHint

本例包括Storm Trident中shuffle与parallelismHint的使用。代码当中包括注释maven&lt;dependency&gt; &lt;groupId&gt;org.apache.storm&lt;/groupId&gt; &lt;artifactId&gt;storm-core&lt;/artifactId&gt; &lt...

nickta的专栏 886

向NCBI上传16S rDNA数据的操作详解

专门介绍向NCBI上传16S rDNA数据的方法不太多。因为自己有上传数据的需要,所以决定边摸索边写下操作流程。如果这篇博文交代了上传步骤以及一些描述文件属性的书写,帮到你的话,还请点赞收藏。

yue81560的博客 2万+

Storm Trident API总结-1

Storm Trident API的介绍

真诚的程序员 4404

使用python获取同花顺免费版和同花顺远航版自选股数据用于量化交易

在做量化交易时,有时需要在盘中实时监控同花顺自选股的数量,以便灵活地自定义提醒、捕捉买卖时点等。那么,如何使用python获取同花顺自选股数据呢?

tzzqn2008的专栏 3689

杭电oj2023题题目详解(Java版)

杭电oj2023题详解

m0_51065958的博客 978

storm拓扑的并行度(parallelism)概念

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34205076的博客 419

TL431 Spice模型在LTspice中的导入与仿真完整指南

三端可调并联稳压器TL431凭借内部2.5V基准与比较器结构,在开关电源反馈、电压监控等场景中应用广泛。在LTspice中开展电路仿真时,正确导入原厂Spice模型是获得准确动态特性、验证环路稳定性的前提。本文从模型结构差异切入,对比行为模型与厂商宏模型的优劣,详细讲解从官网下载模型文件、识别.lib/.cir格式、自制Symbol到引脚顺序匹配的完整流程,并通过直流扫描和光耦反馈电路实例演示仿真验证方法。同时汇总常见报错速查表与无报错但结果异常的排查思路,帮助工程师规避引脚错位、语法兼容等典型陷阱,快速搭

weixin_26878995的博客 228

算法导论第 3 版之多线程算法(二)

用于学习和交流,欢迎指正。多线程算法(二)                                                                                      ——算法导论第3版新增第27章 ThomasH. Cormen, Charles

hoping的专栏 7480

立创开源TinyAWG:基于ZYNQ7010的35MHz带宽200MSa/s任意波形发生器设计与实现

本文详细解析了立创开源TinyAWG的设计与实现,这是一款基于ZYNQ7010芯片的低成本高性能任意波形发生器。项目实现了35MHz带宽和200MSa/s采样率,核心采用ARM+FPGA协同架构,FPGA负责高速DDS信号生成,ARM运行Linux并搭载LVGL图形界面。文章涵盖了硬件选型、电路设计、软件逻辑及性能测试,为复刻和学习ZYNQ系统设计、高速DAC应用提供了完整参考。

weixin_42576467的博客 438

当兵心理测试软件,当兵心理测试题及答案

心理测试是一种比较先进的测试方法,它是指通过一系列手段,将人的某些心理特征数量化,来衡量个体心理因素水平和个体心理差异差异的一种科学测量方法。小编为你整理了当兵心理测试题及答案,希望对你有所参考帮助。征兵心理测试题(1代表是2代表否)1、我的胃口很好。12、我早上起来的时候,多半觉得睡眠充足,头脑清醒13、我喜欢看报纸上的犯罪新闻。14、有时我常感到困难重重,无法克服。25、我时常遇见一些所谓的专...

weixin_42128393的博客 1万+

Storm 入门(拓扑)

一、Strom 概述 Storm 是基于数据流的实时处理系统,提供了大吞吐量的实时计算能力。每条数据到达系统后,立即在内存中处理流程,并在很短的时间内处理完成。 Storm 实时流计算框架之一,它提供了可容错分布式计算所要求的基本原语和保障机制。 二、Strom 组成 Storm 分布式计算的结构称为 topology(拓扑),topology 会一直运行下去,除非进程被杀死或

你挺淘啊的博客 1117

YOLOv11改进策略【SPPF】| AIFI : 基于Transformer的尺度内特征交互,在降低计算成本的同时提高模型的性能

本文记录的是基于AIFI模块的YOLOv11目标检测改进方法研究。AIFI是RT-DETR中高效混合编码器的一部分,利用其改进YOLOv11模型,

Limiiiing的博客 2241

Apache Storm 官方文档 —— 理解 Storm 拓扑的并行度(parallelism)概念

一个运行中的拓扑是由什么构成的:工作进程(worker processes),执行器(executors)和任务(tasks) 在一个 Storm 集群中,Storm 主要通过以下三个部件来运行拓扑: 工作进程(worker processes) 执行器(executors) 任务(tasks) 下面是他们之间相互关系的简单图示。 在 Worke...

weixin_34280237的博客 167

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

用实例的方式去理解storm的并发度

什么是storm的并发度 一个topology(拓扑)在storm集群上最总是以executor和task的形式运行在suppervisor管理的worker节点上。而worker进程都是运行在jvm虚拟机上面的,每个拓扑都会被拆开多个组件分布式的运行在worker节点上。 1.worker 2.executor 3.task 这三个简单关系图: 一个worker工作进程运行一个拓扑的子集(其实...

weixin_30393907的博客 174

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Storm中并行度原来是这样计算的(1.0.1版本)

==思考问题1== 向集群提交一个拓扑的时候,Storm是如何计算Task数以及Executor数的? 具体有多少个worker,多少个executor,每个executor负责多少个task? ==思考问题2:== 构建拓扑的时候,有3个地方会影响并行度,这3个地方之间有什么关系? builder.setSpout("spout", new RandomSentenceSpo...

weixin_30271335的博客 172

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

storm ——Understanding the Parallelism of a Storm Topology

http://www.michael-noll.com/blog/2012/10/16/understanding-the-parallelism-of-a-storm-topology/ 这篇文章好好读一读。

weixin_34301132的博客 123

Storm中Topology任务调度策略

Storm中负责Topo分配的工作由nimbus负责,具体代码在nimbus.clj中。 对于一个新Topo的分配来说,主要经历两个阶段: 1. 逻辑分配阶段 这里又会涉及到两个概念executor和task,简单讲对于一个具体的component来说,task就是component在运行时的实例个数,即component使静态的class代码,task是运行时的具体object对象,tas

weeniebear的专栏 4131

Storm bolt重复消费问题解决

最近碰到一个storm的坑, 两个bolt都需要从kafkaSpout中获取数据进行各自的业务处理, bolt1的处理是幂等的, bolt2的处理是非幂等的, 上线后发现非幂等的bolt处理总是会处理两次, 代码如下: //创建拓扑作业 TopologyBuilder builder = new TopologyBuilder(); //1....

diaoyueni5400的博客 435

Storm 并行度分配原理及优化

ps:都是学习的别人的博客,只是做了个整理所有就写成了原创,其实都是人家的东西 当一个topology在storm cluster中运行时,它的并发主要跟3个逻辑对象相关:worker,executor...

189

Understanding the Parallelism of a Storm Topology

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34273479的博客 128

大数据_Storm_allGrouping方式需要注意的几个点

最近碰到一个storm的坑, 两个bolt都需要从kafkaSpout中获取数据进行各自的业务处理, bolt1的处理是幂等的, bolt2的处理是非幂等的, 上线后发现非幂等的bolt处理总是会处理两次, 代码如下: //创建拓扑作业 TopologyBuilder builder = new TopologyBuilder(); //1. 创建Spout

迎难而上 2486

理解Storm Topology的并发机制

运行时topology的组成:worker processes、executors(执行者线程)以及tasks Storm区分了以下三个主要的实体并用来在Storm集群上运行起一个topology: 1.Worker processes 2.Executors(线程) 3.Tasks 下面是这3者关系的一个简单示例: 一个worker process负责执行topology的部

CxCo的专栏 2538

Storm处理流程, 基本参数配置

文章来源:http://www.cnblogs.com/chengxin1982/p/4001275.html 配置选项名称 配置选项作用 topology.max.task.parallelism 每个Topology运行时最大的executor数目 topology.workers

小海的专栏 8178

Storm集群中运行的各种组件及其并行

一、Storm中运行的组件           我们知道,Storm的强大之处就是可以很容易地在集群中横向拓展它的计算能力,它会把整个运算过程分割成多个独立的tasks在集群中进行并行计算。在Storm中,一个task就是运行在集群中的一个Spout或Bolt实例。      为了方便理解Storm如何并行处理我们分给它的任务,这里我先介绍一下在集群中涉及到Topology的四种组件:

Heaven Wang 的专栏 4495
上一篇: Java内存溢出问题总结
下一篇: Storm通信机制
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值