【学习Storm实时计算框架】

本文深入探讨了Storm这一分布式实时计算系统的架构与核心组件。详细介绍了拓扑图(Topology)的概念,及其如何编排计算逻辑组件(Spout、Bolt)。同时,解析了Spout作为消息生产源头的作用,以及Bolt如何封装处理逻辑。最后,阐述了StreamGrouping在组件间流的连接、分组与分发中的关键作用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Storm是一个分布式是实时计算系统,它设计了一种对流和计算的抽象,概念比较简单,实际编程开发起来相对容易。
Storm中最核心的计算组件的抽象就是Spout、Bolt,以及Stream Grouping。

你晓得伐

名词含义拓展
Topology拓扑图类似于Hadoop中的MapReduce Job,是一个用来编排、容纳一组计算逻辑组件(Spout、Bolt)的对象(Hadoop MapReduce中一个Job包含一组Map Task、Reduce Task)
Spout喷泉,喷口一个Topology的消息生产的源头,Spout应该是一个持续不断生产消息的组件
Bolt插销,螺栓,筛选Storm中消息的处理逻辑被封装到Bolt组件中,任何处理逻辑都可以在Bolt里面执行,处理过程和普通计算应用程序没什么区别,只是需要根据Storm的计算语义来合理设置一下组件之间消息流的声明、分发、连接即可。
Stream Grouping分组关系定义各个计算组件(Spout、Bolt)之间流的连接、分组、分发关系。

Reference

http://shiyanjun.cn/archives/977.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值