Storm学习记录（四、并发机制和通信机制）

最新推荐文章于 2020-08-23 22:37:56 发布

原创最新推荐文章于 2020-08-23 22:37:56 发布 · 996 阅读

0 ·

CC 4.0 BY-SA版权

storm 专栏收录该内容

9 篇文章

订阅专栏

本文深入探讨了Apache Storm的并发机制，包括Worker进程、Executor线程和Task的运作方式，以及如何通过配置参数来调整这些组件的数量。同时，文章还提到了Storm中的通信机制，为读者提供了全面的理解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、并发机制

Worker – 进程：一个Topology拓扑会包含一个或多个Worker（每个Worker进程只能从属于一个特定的Topology）

这些Worker进程会并行跑在集群中不同的服务器上，即一个Topology拓扑其实是由并行运行在Storm集群中多台服务器上的进程所组成

Executor – 线程：Executor是由Worker进程中生成的一个线程

每个Worker进程中会运行拓扑当中的一个或多个Executor线程

一个Executor线程中可以执行一个或多个Task任务（默认每个Executor只执行一个Task任务），但是这些Task任务都是对应着同一个组件（Spout、Bolt）。

Task：实际执行数据处理的最小单元，每个task即为一个Spout或者一个Bolt

Task数量在整个Topology生命周期中保持不变，Executor数量可以变化或手动调整

（默认情况下，Task数量和Executor是相同的，即每个Executor线程中默认运行一个Task任务）

设置Worker进程数：

Config.setNumWorkers(int workers)

设置Executor线程数：

TopologyBuilder.setSpout(String id, IRichSpout spout, Number parallelism_hint)

TopologyBuilder.setBolt(String id, IRichBolt bolt, Number parallelism_hint)，其中， parallelism_hint即为executor线程数

设置Task数量

ComponentConfigurationDeclarer.setNumTasks(Number val)

Config conf = new Config() ;
conf.setNumWorkers(2);

TopologyBuilder topologyBuilder = new TopologyBuilder();
topologyBuilder.setSpout("spout", new MySpout(), 1);
topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2)
               .setNumTasks(4)
               .shuffleGrouping("blue-spout);

举例：