Storm数据流分流和合并

Storm实际使用中可能需要分流与合并,分流分为两种情况,第一种是相同的tuple发往下一级不同的bolt,第二种是分别发送不同的tuple到不同的下级bolt上,下面以WordCount为例:

1.发送相同的tuple

即2个或多个bolt接收同一个spout或bolt的数据,如下图:

(注:实际应用场景不会这么用,因为同一个tuple发送给不同的bolt,会导致同一个单词被count两次,这里仅用作举例)

tuple1会发送给bolt1和bolt2。

TopologyMain.java

TopologyBuilder builder = new TopologyBuilder(); 
builder.setSpout("word-reader", new WordReader()); 

// 分流
builder.setBolt("word-normalizer1", new WordNormalizer()).shuffleGrouping("word-reader"); 
builder.setBolt("word-normalizer2", new WordNormalizer()).shuffleGrouping("word-reader");

// 合并  
builder.setBolt("word-counter", new WordCounter(), 2).fieldsGrouping("word-normalizer1", new Fields("word")) 
.fieldsGrouping("word-normalizer2", new Fields("word"));

2.发送不同的tuple

当发送不同的tuple到不同的下级bolt时,就要引入stream的概念,bolt或spout可以使用emit(streamId, tuple)把元祖分发到多个流,其中streamId是一个用来标识流的字符串,然后在TopologyBuilder决定由哪个流来订阅它,如下图所示:

tuple1和tuple2分别发往bolt1和bolt2。

部分代码:

WordReader.java

// 定义输出流格式

public void declareOutputFields(OutputFieldsDeclarer declarer) { 
    declarer.declareStream("streamid1", new Fields("line1")); 
    declarer.declareStream("streamid2", new Fields("line2")); 
}



public void nextTuple() {

    ……

    int i = 0; 

    while ((str = reader.readLine()) != null) { 
        i++; 
        if (i % 2 == 1) { 

            // 奇数行发给streamid1
            this.collector.emit("streamid1", new Values(str), i + "." + str); 
        } else { 

            // 偶数行发给streamid2
            this.collector.emit("streamid2", new Values(str), i + "." + str); 
        } 
    }

}

TopologyMain.java

TopologyBuilder builder = new TopologyBuilder(); 
builder.setSpout("word-reader", new WordReader()); 

// 分流   

builder.setBolt("word-normalizer1", new WordNormalizer()).shuffleGrouping("word-reader", "streamid1"); 
builder.setBolt("word-normalizer2", new WordNormalizer()).shuffleGrouping("word-reader", "streamid2");

// 合并  
builder.setBolt("word-counter", new WordCounter(), 2).fieldsGrouping("word-normalizer1", new Fields("word")) 
.fieldsGrouping("word-normalizer2", new Fields("word"));

 

转载于:https://my.oschina.net/u/556825/blog/715780

Storm(六):数据流的分流与合流 Storm 对数据处理时,不同的数据交给不同的bolt来处理,然后处理好的数据传给同个bolt来存储到数据库,这时就需要分流与合流,我们通过一个例子了解分流与合流。 阅读详情

相关推荐

【信息科学与工程学】计算机科学与自动化-——第十五篇云计算 11 算法篇

在百万级虚拟机、百万级租户的超大规模云环境中,核心算法挑战包括:挑战维度具体问题算法需求技术复杂度规模性​百万级对象并发管理分布式算法、分区算法极高(NP-hard问题)多租户​租户间隔离与资源共享公平性算法、隔离算法高(多目标优化)动态性​资源需求实时变化自适应算法、在线算法高(实时决策)异构性​硬件/负载/需求差异分类算法、匹配算法中高(多维度优化)经济性​资源利用率与成本平衡优化算法、博弈论算法高(多目标博弈)以下是按领域分类的详细算法列表:算法名称数学建模表达核心思想时间复杂度适用场景推理步骤首次适

weixin_49199313的博客 1406

STORM之ITridentSpout、FirstN(取Top N)实现、流合并和join

基于事务 static interface ITridentSpout.BatchCoordinator             static interface ITridentSpout.Emitter 接口类的实现和之前事务ITransactionalSpout 非常类似。 Topo例子 topology.newDRPCStream("top", drpc) .ea

bbaiggey_bigdata的博客 1614

【信息科学与工程学】【通信工程】第七十九篇 Infiniband网络02

管理员通过 SM 定义分区,指定其 P_Key 和期望的成员节点(CA/交换机端口)。2.

weixin_49199313的博客 381

聊聊storm的stream的分流与合并

序 本文主要研究一下storm的stream的分流与合并 实例 @Test public void testStreamSplitJoin() throws InvalidTopologyException, AuthorizationException, AlreadyAliveException { TopologyBuilder builder = new T...

weixin_34315485的博客 287

【信息科学与工程学】【安全领域】第三十五篇 网络安全算法表02

​分级处理​:实时增量 + 离线全量 + 自动校验三线并行​最终一致优先​:强同步仅用于支付等核心场景​双向容错​:Redis侧:读CK兜底(CK侧:自动屏蔽校验失败分区​业务适配​:graph LR高实时场景 --> Redis写+双重读分析场景 --> 放宽CK同步延迟报表场景 --> T+1校准保障该方案已在京东、美团等千亿级数据平台验证,支撑双11级流量下Redis与ClickHouse的数据协同。

weixin_49199313的博客 1344

【信息科学与工程学】计算机科学与自动化——第三百零五篇 数据中心 Scale-Up、Scale-Out、Scale-Across 20

GPU 训练中的各种算子融合技巧、梯度压缩与稀疏通信的高级变体、混合专家模型的负载均衡与通信优化、长序列模型的注意力机制优化、模型量化与蒸馏的联合优化、分布式训练中的容错与恢复、以及一些新兴硬件特性的建模(如 HBM3、GDDR7、CXL 3.0 内存语义、PCIe Gen6 PAM4 信令等)。每条仍然包含四个方程式子节。

weixin_49199313的博客 374

聊聊storm trident batch的分流与聚合

序 本文主要研究一下storm trident batch的分流与聚合 实例 TridentTopology topology = new TridentTopology(); topology.newStream("spout1", spout) .partitionBy(...

weixin_34405925的博客 195

【信息科学与工程学】计算机科学与自动化-——第十五篇云计算 12 公有云里的“多Region + 多AZ“ 02 运营算法01

算法逐步思考推理思考(含数学方程式、对象、资源、任务、进程/协程/线程及对应的代数、约束、目标函数/传递函数/依赖函数、参数及参数的数值范围及边界条件、逐步推理的数学方程式列表、上下文切换、并发/串行/随机/乱序/顺序)算法逐步思考推理思考(含数学方程式、对象、资源、任务、进程/协程/线程及对应的代数、约束、目标函数/传递函数/依赖函数、参数及参数的数值范围及边界条件、逐步推理的数学方程式列表、上下文切换、并发/串行/随机/乱序/顺序)云厂商提高闲置资源利用率。算法复杂度为O(N),N为实例数量。

weixin_49199313的博客 287

Java整合Storm任务分流

Storm以流水线的模式处理流式数据,每一个环节完成一条逻辑需求中的一个阶段性任务。但是我们的需求不止一个,并不一定处于一条逻辑线,甚至经过几次处理环节之后就没有什么共同点了,这就需要我们将任务处理环节划分开多个分支,每一种需求又会在各自的分支以流水线的模式处理下去。 基于上次我们修改过的小例子https://blog.youkuaiyun.com/xxkalychen/article/details/117019970?spm=1001.2014.3001.5501,我们在处理完文字行之后,一方面在后台打印,一方面

宝华的小岛 526

史上最强量化工具库 Ta-Lib 从入门到精通,一篇文章就够了!

Ta-Lib 提供的 13 个关键指标,并配上详细的代码示例,确保你看完就能直接上手!🔥。

奔跑的蜗牛 9939

NC65实现Restful接口开发及调试

NC65实现Restful接口开发及调试

linzhongshu的专栏 2148

数据流分流和合并

分流 分流有2钟情况,第一种是,相同的tuple发往下一级不同的bolt, 第二种,分别发送不同的tuple到不同的下级bolt上。 发送相同tuple 其实和普通1v1 发送一模一样,就是有2个或多个bolt接收同一个spout或bolt的数据 举例来说: SpoutDeclar...

chuanlahong3756的博客 675

ODS 与模态分析

模态分析不是通过现有的 FRF 来“推测”或“估计”其他模态参数,而是通过测量和分析 FRF 来。

轩辕霸天L 1261

Storm & kafka 日志统计代码流程转成多个Bolt

发布于2019年1月9日 由ZHONGDAIQI Storm & kafka 日志统计代码流程转成多个Bolt Storm & kafka 日志统计代码流程转成多个Bolt 所谓一图击破迷团。我们使用kafkaSpout接上kafka消息队列消息,使用ParseBolt将kafka消息中的message拿出来,得到我们统计日志要使用的日志节点信息traceId(跟踪Id)...

Lancker's 优快云 Blog 576

深度解析direct path write temp与ASM IO性能问题:Oracle 19.17视图查询优化指南

本文深度解析了Oracle 19.17版本中复杂视图查询出现`direct path write temp`与`ASM IO for non-blocking poll`性能瓶颈的根本原因。通过对比11.2.0.4版本的执行计划差异,文章提供了从CBO参数调整、存储层优化到SQL架构重构的完整实战调优指南,帮助DBA有效解决升级后的查询性能问题。

2y3u4i5o6p的博客 1101

农业杂草检测——甜菜杂草目标检测数据集

甜菜田中常见的杂草种类繁多,主要有稗草、狗尾草、芦苇、灰藜等。•稗草:一年生草本植物,和稻子外形极为相似。秆直立,光滑无毛。圆锥花序主轴具角棱,粗糙;小穗密集于穗轴的一侧,具极短柄或近无柄。花果期 7 - 10月。生长在稻田里、沼泽、沟渠旁、低洼荒地等。•狗尾草:又叫莠,因穗形像狗尾巴而得名。秆疏丛生,直立或基部膝曲上升。叶片条状披针形,叶鞘松弛,光滑,鞘口有毛;叶舌毛状。圆锥花序呈圆柱状,直立或稍弯垂,刚毛绿色或变紫色。夏、秋采收,晒干。常生长在麦田、谷子、玉米、棉花、豆类、花生、薯类、蔬菜、甜菜、马铃薯

qq_38220914的博客 1140

Storm在推荐系统中的应用

Storm简介        apache开源社区项目Storm,是一款分布式实时计算系统。它之上的应用易于开发与部署。关于他们的介绍,请移步http://storm.apache.org/,那里有更官方且全面的介绍。 我们利用Storm擅长基于数据流并行计算的优势,弥补Hadoop在实时计算方面的缺憾。这些使用日志采集系统(比如基于Kafka或者Scribe)作为输入源计算出来的实时结果,将为

优酷土豆大数据团队的博客 5354

STA 静态时序分析 第三章——标准单元库中的高级功耗建模与优化策略

本文深入探讨了STA静态时序分析中标准单元库的高级功耗建模与优化策略。详细解析了动态功耗和漏电功耗的精细建模技术,包括基于波形敏感的CCS模型和温度敏感的漏电模型,并介绍了多工艺角功耗建模及低功耗设计优化策略,为纳米级芯片设计提供关键能效解决方案。

weixin_29290863的博客 225

Storm一些关键概念信息提取

为什么80%的码农都做不了架构师?>>> ...

weixin_33682719的博客 198

SAP CO-PA数据传送避坑指南:销售开票与FI/MM记账的日常配置实操(含KEKF/KE4I/KEI2)

本文深入解析SAP CO-PA数据传送中的常见配置问题,特别是销售开票与FI/MM记账环节的实操避坑指南。通过KEKF/KE4I/KEI2等关键配置点的详细说明,帮助用户避免数据失真和重复记录,提升获利能力分析的准确性。文章结合实战案例,揭示官方文档未提及的'数据黑洞'形成机制,为SAP顾问提供实用的排雷手册。

weixin_26905487的博客 391

STM32:TTL串口调试

TTL只需要两个线就可以完成两个设备之间的双向通信,一个发送电平的I/O称之为TX,与另一个设备的接收I/O口RX相互连接。两设备之间还需要连接地线(GND),这样两设备就有相同的0V参考电势。

superSmart_Dong的博客 5643

简单介绍之大数据框架

致初学者 一,恶龙出巢 大数据是一种现象,它可以称作潮流,但绝不是技术。 大数据,顾名思义,就是数据变得越来越多,变得很大很大。我知道很多人对这个解释嗤之以鼻,可是经过我的一段时间学习,发现这个概念就是这样,没有必要把它上升到一种难以理解的高度。 不理解的问题在于:你对数据到底有多大根本没有概念。 我们在网络上每一次操作无非都是对数据的增删改查,在未来随着网络应用的越来越多,人们对网络需...

lishinho的博客 1万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

每日生产万亿消息数据入库,腾讯如何突破大数据分析架构瓶颈

背景介绍对于腾讯庞大的大数据分析业务,几千台的 Hadoop 集群,近百 P 级的存储总量,每日产生万亿的消息数据入库,需要针对几十亿 IMEI 手机设备去重,并关联数千亿的历史全表,进行曝光、点击、PV、UV、日活、新增、留存等统计指标分析,当前所有业务的 ETL 清洗、统计计算、用户画像都全部依赖离线 m/r 和 Hive SQL,给集群造成很大压力,系统负载高任务积压重,计算耗时久业务响应慢...

weixin_33699914的博客 708

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Linux 驱动研究 —— SDIO (6)

全文围绕三大核心展开:首先讲解CMD52与CMD53命令码的底层逻辑,教你如何精准下达读写任务;其次剖析数据传输状态机与DMA机制,介绍系统如何通过硬件自动搬运数据并利用CRC校验保障传输安全;最后深入探讨SDIO异步中断与电源管理,详细还原了外设拉低引脚触发硬中断、内核专用线程被唤醒接管,以及将任务精准交付给驱动的完整闭环。整篇文档层层递进,是一套从指令交互、数据搬运到事件处理的硬核技术全景解析。

kdxiaojie的博客 625

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

机器学习模型上线后失效的五大集成陷阱与银行级治理实践

机器学习模型部署不是算法落地的终点,而是系统性工程挑战的起点。在金融等强监管行业,模型健康度高度依赖数据流稳定性、特征契约一致性、服务可观测性及自动化治理能力。本文聚焦生产环境中最常被忽视的集成层风险——如特征时效性幻觉、数据契约漂移、重试风暴、降级路径失效和可观测性盲区,并结合银行真实故障案例,解析如何通过契约化校验、混沌工程验证、多维信号监控与决策溯源链构建,实现从‘能跑通’到‘可信赖’的跃迁。关键词涵盖模型可观测性、特征契约、ML系统集成。

weixin_30832405的博客 389
下一篇: JedisUtil工具类
chenglu2821
博客等级 码龄10年 0粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值