翻译理解Storm拓扑的并行性

最新推荐文章于 2025-11-18 15:10:34 发布

原创最新推荐文章于 2025-11-18 15:10:34 发布 · 488 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#storm #并行性 #worker #参数 #executor

本文深入解析了Apache Storm中拓扑并行性的核心概念，包括工作进程、执行器和任务的关系，以及如何通过配置选项调整并行度，以优化数据处理效率。

原创文章，转载请保留此文链接 https://blog.youkuaiyun.com/flygfch/article/details/88187939，或访问本人博客 http://fangchao.me/2017/01/26/Understanding-the-parallelism-of-a-Storm-topology.html

本文是本人根据Storm官方文档个人翻译整理的，如果有不妥或者错误之处，欢迎指正。原英文官方文档

是什么使一个拓扑运行的

Storm区分了用于在Storm集群中实际运行拓扑的以下三个主要实体：

工作进程（Worker processes）
执行器（Executors）
任务（Tasks）

这里是他们的关系的简单说明：

工作进程运行着一个拓扑的子集。一个工作进程（worker processes）是属于一个特定的拓扑的，工作进程可以运行这个拓扑中一个或多个组件（spouts或者bolts）的一个或多个执行器（executors）。一个运行的拓扑是由多个这样的进程组成的，这些进程都是运行在storm集群中的多个机器中。

执行器（executor）是一个由工作进程创建出来的线程。它会运行一个或多个任务（tasks），而且这些任务都属于同一个组件（spouts或者bolts）的。

任务（task）是真正执行数据处理的–在代码中实现的每个spout或bolt在集群中执行任意数量的任务。

一个组件的任务数量在一个拓扑的生命周期中总是相同的，但是一个组件的执行器（线程）可能会随时间而变化。这就意味着下面这个情况总是成立的：#threads ≤ #tasks。默认情况下，任务的数量设置为与执行器的数量相同，即Storm将为每个线程运行一个任务。

配置拓扑的并行性

注意，在Storm的术语中，“并行性（parallelism）”特别用于描述所谓的并行性提示（parallelism hint），这指的就是组件的执行器（线程）的初始数量。在本文中，在更一般的意义上，我们不仅使用术语“并行性”来描述如何配置执行程序的数量，还用来描述配置工作进程的数量和Storm拓扑的任务数。当我们在Storm的正常，狭义的定义中使用“并行性（parallelism）”时，我们会特别提出。

以下部分概述了各种配置选项以及如何你的在代码中进行设置。设置这些选项有不止一种方式，但是表中只列出了其中一部分。Storm目前具有以下配置设置优先级顺序：

defaults.yaml < storm.yaml < topology-specific configuration < internal component-specific configuration < external component-specific configuration.

工作进程（Worker processes）的数量

说明：要为群集中的计算机上的拓扑创建多少个工作进程。
配置选项：TOPOLOGY_WORKERS
如何在代码中设置（示例）：
- Config#setNumWorkers

执行器（Executors）的数量（线程）

说明：每个组件生成多少个executors。
配置选项：无（将parallelism_hint参数传递给setSpout或setBolt）
如何在代码中设置（示例）：
- TopologyBuilder#setSpout()
- TopologyBuilder#setBolt()
- 注意Storm 0.8版本，parallelism_hint参数现在指定该bolt的执行器的初始数量（而不是任务！）。

任务（Tasks）的数量

说明：每个组件生成多少个任务。
配置选项：TOPOLOGY_TASKS
如何在代码中设置（示例）：
- ComponentConfigurationDeclarer#setNumTasks()

以下是在实践中设置的示例代码段：

topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2)
	.setNumTasks(4)
	.shuffleGrouping("blue-spout");

在上面的代码中，我们配置Storm运行GreednBolt时，初始数量为两个执行器（Executors）和四个相关任务（Tasks）。 Storm将对每个执行器（线程）运行两个任务。如果没有显式配置任务数，Storm将默认为每个executor运行一个task。

一个运行拓扑的实例

下图展示了一个简单的拓扑在运行中是什么样的。这个拓扑包含了3个组件，一个叫BlueSpout的spout，2个bolts分别为GreenBolt和YellowBolt。

这些组件是这样连接的，BlueSpout将其输出发送到GreenBolt，GreenBolt又将自己的输出发送到YellowBolt。

GreenBolt是根据上面的代码片段配置的，而Blue Spout和Yellow Bolt只设置parallelism hint（executors的数量）。这里是相关的代码：

Config conf = new Config();
conf.setNumWorkers(2); // use two worker processes

topologyBuilder.setSpout("blue-spout", new BlueSpout(), 2); // set parallelism hint to 2

topologyBuilder.setBolt("green-bolt", new GreenBolt(), 2)
               .setNumTasks(4)
               .shuffleGrouping("blue-spout");

topologyBuilder.setBolt("yellow-bolt", new YellowBolt(), 6)
               .shuffleGrouping("green-bolt");

StormSubmitter.submitTopology(
        "mytopology",
        conf,
        topologyBuilder.createTopology()
    );

当然，Storm还提供了额外的配置设置来控制拓扑的并行性，包括：

TOPOLOGY_MAX_TASK_PARALLELISM：此设置为单个组件生成的executor数量设置了上限。它通常用于在测试期间，限制在本地模式下运行拓扑时生成的线程数。你可以设置这个选项Config#setMaxTaskParallelism()。

如何更改运行拓扑的并行性

Storm一个很好的特性就是，你可以增加或减少worker进程或executors的数量，而无需重新启动集群或拓扑。这个行为被称为rebalancing（重新平衡）。

你有2个选项去重新平衡一个拓扑：

使用Storm UI去平衡拓扑
使用CLI工具，如下所述

以下是使用CLI工具的示例：

## Reconfigure the topology "mytopology" to use 5 worker processes,
## the spout "blue-spout" to use 3 executors and
## the bolt "yellow-bolt" to use 10 executors.

$ storm rebalance mytopology -n 5 -e blue-spout=3 -e yellow-bolt=10