Storm 从入门到精通 第九讲 Stream Grouping -Shuffle Grouping

本文介绍了随机分组(ShuffleGrouping)的概念及其在流处理系统中的应用。随机分组能够确保每个任务接收到等量的数据元组,适用于需要均匀负载的任务场景。然而,对于需要特定数据集的操作,如单词计数,则不推荐使用随机分组。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

随机分组(Shuffle Grouping)是最常用的流分组方式,它随机地分发元组到Bolt上的任务,这样能保证每个任务得到相同数量的元组。将流分组定义为混排。这种混排分组意味着来自Spout的输入将混排,或随机分发给此Bolt中的任务。shuffle grouping对各个task的tuple分配的比较均匀。



随机分组执行原子操作,这是非常有用的,例如数学运算。但是,如果操作不能被随机分发的话,应该考虑使用其他的分组方式,例如,在单词统计(WordCount)例子中,需要计算单词,就不适合使用随机分组。

使用PrintWriterToplogy 示例


PrintBot 4个并行度,不同线程Executor处理Print 任务


 


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值