Storm学习

最新推荐文章于 2025-11-25 11:19:36 发布

原创最新推荐文章于 2025-11-25 11:19:36 发布 · 571 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#storm #学习 #大数据

Storm学习（一）

基础概念

基础概念

topology

应用程序的所有逻辑会被打包到Storm的topology中。

Storm 的 topology 类似于 MapReduce 的 job。两者之间的一个不同点就是 MapReduce 的 job 最终会结束，而topology则会一直运行下去，除非人为的kill掉。

topology中定义了spouts、bolts以及数据流的分组。

stream

消息流
一个消息流是一个没有边界的tuple序列，而这些tuples会被以一种分布式的方式并行地创建和处理

spout

spout是 topology 的数据入口，连接到数据源，将数据转换为一个个的tuple，然后将tuple作为数据流发射emit

spout发射tuple用两种情况，一种是如果发射tuple失败，那么spout会尝试重试emit一下这个tuple，第二种情况是，不考虑发射成功与否，直接干下一个tuple

一个spout可以发射给多个stream，发射到多个流的时候需要指定发给哪个流

spout的主要方法是 nextTuple，该方法会发射一个新的 tuple，如果没有 tuple 可以发射，则直接返回不做任何操作。

nextTuple 不应被阻塞，也就是说当使用 nextTuple 方法时，要发射一个新元组，要么快速返回，不应该执行任何可能导致延迟的操作。因为 Storm 会在同一个线程上调用一个 spout 的所有方法，比如 nextTuple、ack、fail。如果你的 nextTuple 方法被阻塞，那么其他方法的调用都会被阻塞。

总的来说，在使用 nextTuple 方法时，需要注意避免任何形式的阻塞。

发射成功时，会调用 ack 方法，失败时会调用 fail 方法。在可靠性要求的场景下才需要，不需要高可靠性的时候可以不采用。

bolt

拓扑中的所有处理都在 bolt 中完成，一个 bolt 可以subscribe 多个由 spout 或其他 bolt 发射的数据流。bolt可以将一个或者多个数据流作为输入，对数据实施运算后，选择性地输出一个或者多个数据流

bolt 的主要方法是 execute 方法，任务在一个新的元组输入时执行该方法。bolt 使用 OutputCollector 对象发射新的元组。bolt 必须对每个处理的元组调用 OutputCollector 的 ack 方法，因此 storm 知道这个元组完成处理（并且能最终确定 ack 原始元组是安全的）。一般情况，处理一个输入元组，基于此元组再发射 0-N 个元组，然后 ack 输入元组。storm 提供了一个 IBasicBolt 接口自动调用 ack 方法。