【学习Storm实时计算框架】

最新推荐文章于 2024-08-06 10:03:20 发布

原创最新推荐文章于 2024-08-06 10:03:20 发布 · 571 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#Storm #学习笔记

Storm 专栏收录该内容

1 篇文章

订阅专栏

本文深入探讨了Storm这一分布式实时计算系统的架构与核心组件。详细介绍了拓扑图(Topology)的概念，及其如何编排计算逻辑组件(Spout、Bolt)。同时，解析了Spout作为消息生产源头的作用，以及Bolt如何封装处理逻辑。最后，阐述了StreamGrouping在组件间流的连接、分组与分发中的关键作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Storm是一个分布式是实时计算系统，它设计了一种对流和计算的抽象，概念比较简单，实际编程开发起来相对容易。
Storm中最核心的计算组件的抽象就是Spout、Bolt，以及Stream Grouping。

你晓得伐

名词	含义	拓展
Topology	拓扑图	类似于Hadoop中的MapReduce Job，是一个用来编排、容纳一组计算逻辑组件（Spout、Bolt）的对象（Hadoop MapReduce中一个Job包含一组Map Task、Reduce Task）
Spout	喷泉，喷口	一个Topology的消息生产的源头，Spout应该是一个持续不断生产消息的组件
Bolt	插销，螺栓，筛选	Storm中消息的处理逻辑被封装到Bolt组件中，任何处理逻辑都可以在Bolt里面执行，处理过程和普通计算应用程序没什么区别，只是需要根据Storm的计算语义来合理设置一下组件之间消息流的声明、分发、连接即可。
Stream Grouping	分组关系	定义各个计算组件（Spout、Bolt）之间流的连接、分组、分发关系。