Storm 从入门到精通 第八讲 Storm Stream Grouping 7 种策略

本文介绍了Apache Storm中的核心概念Topology,详细解释了其组成元素Spouts和Bolts以及它们之间的连接方式StreamGroupings。深入探讨了7种不同的消息传递分组方式,包括ShuffleGrouping、NoneGrouping等。

Topology

一个实时计算应用程序逻辑上被封装在Topology对象中,类似Hadoop中的作业与作业不同的是, Topology会一直运行直到显式地杀死它

Storm中运行的一个实时应用程序,因为各个组件间的消息流动形成逻辑上的一个拓扑结构。


一个 Topology是Spouts和Bolts组成的流程图,通过Stream Groupings将图中的 Spouts和Bolts连接起来,完成实时流业务逻辑处理

Stream Groupings:

在Storm中, 开发者可以为上游Spout/Bolt发射出的Tuples指定下游Bolt的哪个/哪些Task(s)来处理该Tuples。

为每个bolt指定应该接受哪个流作为输入,流分组定义了如何在bolt的任务直接进行分发。

即Stream Grouping,分组方式主要有以下7种

Shuffle Grouping 
None Grouping
Fields Grouping
All Grouping
Global Grouping
LocalOrShuffle Grouping
Direct Grouping
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值