使用旁路输出(side output)来拆分和复制流

Flink——Side Output侧输出流 主要内容: 在处理数据的时候,有时候想对不同情况的数据进行不同的处理,那么就需要把数据流进行分流。可以在主数据流上产生出任意数量额外的侧输出流。 阅读详情


  我们在处理数据的时候,有时候想对不同情况的数据进行不同的处理,那么就需要把流进行拆分或者复制。
如果是使用filter来进行拆分,也能满足我们的需求,但每次筛选都要保留整个流,然后遍历整个流,显然很浪费性能,假如能够在一个流了多次输出就好了,flink的旁路输出则提供了这样的功能。

如何使用旁路输出呢

一、要定义OutputTag,这个就类似一个容器,需要拆分成几个流,就定义几个

 

//例如定义一个tag,来收集某个值小于200的数据
private static final OutputTag<Order> outputTag1 = new OutputTag<>("side-output<200", TypeInformation.of(Order.class));


 private static final OutputTag<Order> outputTag2 = new OutputTag<>("side-output-200~500", TypeInformation.of(Order.class));
 private static final OutputTag<String> outputTag3 = new OutputTag<>("side-output>500", TypeInformation.of(String.class));

二、使用ProcessFunction来进行拆分

 

SingleOutputStreamOperator<Order> mainDataStream = sourceStream.process(new ProcessFunction<Order, Order>(){
            @Override
            public void processElement(Order value, Context ctx, Collector<Order> out) throws Exception {
                //这句代码的含义是把数据发送到常规的流中,也就是mainDataStream中去,发送的数据是全量的数据
                //如果不需要全量的数据,可以不进行发送,那么mainDataStream中也就没有数据
                out.collect(value);


                double amt = value.amount;//获取订单里的金额
                if(amt < 200){
                    ctx.output(outputTag1, value);//把金额小于200的数据发送到旁路流1中
                } else if(amt >= 200 && amt < 500){
                    ctx.output(outputTag2, value);//把金额大于200、小于500的数据发送到旁路流2中
                } else {
                    ctx.output(outputTag3, JSON.toJSONString(value));//把金额大于500的数据发送到旁路流2中,并且转成JSON字符串
                }
            }
        });

三、获取数据
首先mainDataStream中的数据是常规数据,也就是 out.collect进去的数据,可以直接使用

获取旁路数据

 

DataStream<KfkSourceData> sideOutput1Stream = mainDataStream.getSideOutput(outputTag1);//获取旁路1的数据
DataStream<KfkSourceData> sideOutput2Stream = mainDataStream.getSideOutput(outputTag2);//获取旁路2的数据
DataStream<String> sideOutput3Stream = mainDataStream.getSideOutput(outputTag3);//获取旁路3的数据

注:
原先flink提供了split来进行流的拆分,后来改为扩展性更强的 side output。split已经废弃。



作者:和平菌
链接:https://www.jianshu.com/p/c009b2a20a83
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

Flink实战-旁路输出(SideOutput)的使用 旁路输出是在不复制数据流的情况下。把一个数据流分割成多个流,并且不同的流进行不同的处理。通过这种方式来同一个流进行不同的处理非常方便,也是非常常用的一种流处理策略。 阅读详情

相关推荐

Flink的分流操作,分别用split-select和process-getSideOutput实现

package org.example import org.apache.flink.streaming.api.scala._ import scala.collection.mutable.ArrayBuffer object MyRandom { def main(args: Array[String]): Unit = { //创建执行环境 val env = StreamExecutionEnvironment.getExecutionEnvironment //设

dontlikerabbit的博客 747

Flink SideOutput 数据分流处理

分流处理对于一个复杂的数据流可能包含多种属性,我们需要对这个数据流进行多维度分析,因此我们可能需要根据数据的某些属性将其分流到不同的处理路径。例如,一个数字流我们可以按照 正数、负数、奇数、偶数、质数等进行分流处理。使用Side Output可以轻松实现这种分流,而无需多次复制数据流,从而提高处理效率。异常值捕获:实际的业务数据中通常包含一些不合法的数据(如空值、数据过大的异常值等)。使用Side Output可以将这些异常数据分流,然后对异常数据进行处理分析。

happycao123的博客 667

流批一体计算引擎-12-[Flink]旁路输出getSideOutput(OutputTag)实现拆分流和复制流

高效的拆分流与复制流

qq_20466211的博客 591

Flink流处理随笔(下)

文章目录Flink流处理(下)流的切分split分流getSideOutput进行分流合流connect合流union联合 Flink流处理(下) 流的切分 也就是分流操作,这个对应的是一套方法,分流合流。每一个方法又对应了两个步骤。然后每一种方法又对应了几个小方法。套娃了解一下~~最后那就是输出操作,先前是直接print()打印输出了,那么现在必然不是这样的,例如我做一个实时的用户统计系统,服务器的数据流过来我们这边按照规则运算然后输出到服务器专门负责数据可视化或者数据接受的API接口然后完成相应的操作。

`or 1 or 不正经の泡泡 538

Flink DataStream 侧输出流 Side Output

要使用 Side Output 的话,你首先需要做的是定义一个 OutputTag 来标识 Side Output,表示是要收集哪种类型的数据。侧输出流中的数据类型不必与主数据流中的数据类型相匹配,并且不同侧输出流的类型也可以不同。使用 Side Output 将迟到的数据重定向到另一个数据流中,这样就可以对他们进行后续处理或者通过 Sink 将数据输出到外部系统。这里类型不一致,主要是为了验证不同侧输出流可以输出不同类型的数据。OutputTag 类型是根据侧输出流包含元素的类型定义的。

SmartSi 879

【实战解析】SAP EWM与PP深度集成:从后台配置到前台物料流转的全链路设计

本文深入解析SAP EWM与PP深度集成的全链路设计,涵盖后台配置与前台物料流转的实战应用。通过两种集成模式(DPI与API)的选择策略、十二个关键后台配置步骤详解,以及PMR生成、PSA补货等前台演示,帮助企业实现生产计划与物料供应的高效协同,显著提升生产效率和库存周转率。

weixin_30723433的博客 422

flink java旁路输出(Side Output),对原始流进行分流、复制

flink通过ProcessFunction来分流,可以将一份流进行拆分、复制等操作,比如下面的代码通过读取一个基本的文本流,将流分别做处理后进行输出: 案例代码 package wordcount; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.tuple.Tuple2; import org.apache.flink.streaming.api.datastr

呆萌的代Ma 2241

【飞腾平台安装windows arm 11系统】

本文提供国内的百度网盘链接供下载使用:链接: https://pan.baidu.com/s/1_cftVdoX40k0M6zVTmFq8Q?3)快速迁移虚拟机技巧:如果是迁移已经安装好的虚拟机的使用场景,除了导出镜像外,也可直接复制安装好虚拟机的整个文件夹到指定的存储目录,选定好其中的任意qcow2文件后即可快速启动。可在飞腾软件平台点击网盘链接获取对应系统的deb包(麒麟和统信)以及phyvirt·app,下载地址:https://www.phytium.com.cn/developer/

firefly_cv的博客 8946

Flink侧输出流实战:原理、API与迟到数据、定时器分流方案

在实时计算场景中,数据分流是绕不开的工程问题。传统filter或split方案往往带来重复计算与拓扑臃肿,而Flink侧输出流(Side Output)提供了一种轻量、标准化的旁路输出机制。它的核心设计在于通过OutputTag标识旁路通道,在ProcessFunction中借助Context完成主流与支路的动态分流,既保证主链路逻辑完整,又能将异常数据、迟到数据、超时事件等独立投递到下游。无论是订单超时监控、脏数据隔离还是多级分流,侧输出流都能显著降低资源消耗和维护成本。本文从基础原理出发,结合定时器、迟

weixin_29048775的博客 303

内网环境下的高德地图离线化实战:从瓦片下载到交互功能集成

本文详细介绍了在内网环境中部署离线高德地图的完整实战方案。针对军工、能源、金融等对网络隔离与数据安全有严格要求的场景,文章核心解决了离线地图的两大基石:地图瓦片数据的高效下载与本地化,以及高德地图JS API的获取与插件集成。通过具体代码示例,进一步讲解了如何实现地图初始化、海量点标注与聚合、自定义图标及框选查询等核心交互功能,并分享了内网部署的路径配置、性能优化及法律合规等关键注意事项,为开发者在封闭网络环境下构建稳定、可控的地图应用提供了清晰指南。

Apple的专栏 396

BetaFlight开源飞控源码分析

BetaFlight是穿越机领域比较成熟的开源飞控,本篇文章主要分析一下源代码以及如何使用这个开源代码

weixin_43811044的博客 1万+

(10)Flink-实战案例(学习笔记)

1、实战案例1-数据清洗 学习要点: 1、双流操作CoFlatMap(双流操作包括cogroup,join和coflatmap) CoFlatMapFunction简单理解就是当stream1数据到来时,会调用flatMap1方法,stream2收到数据之时,会调用flatMap2方法。 2、 没有broadcast,只有部分数据正确处理输出的原因是:代码中没有设置并行度,默认是按机器CPU核数跑的,所以有的线程 allMap 没有数据,有的有数据,所以会导致部分正确,这里需要...

allensandy的博客 3930

【Bug已解决】Codex 报错 MCP client for context7 failed to start: program not found 解决方案

方案适用场景推荐指数改用绝对路径Windows 上最常见、最有效的解决方式⭐⭐⭐⭐⭐提前全局安装避免依赖 npx减少运行时网络下载的不确定性⭐⭐⭐⭐使用 .cmd 后缀Windows 平台快速尝试⭐⭐⭐⭐开启调试日志需要更精确定位失败原因⭐⭐⭐⭐统一封装启动脚本需要跨平台兼容多个 MCP 服务⭐⭐⭐报错的本质是Codex 启动 MCP 子进程时,无法正确定位配置文件中写的简写命令名对应的可执行文件,尤其容易发生在 Windows 平台上使用npx这类简写命令的场景。

一键难忘的博客 5816

flink侧输出函数

这些函数可以在 Flink 中的 DataStream API 中使用,不同的处理函数可以根据具体场景自由组合。除了上述常用的函数之外,Flink 还提供了许多其他的函数,例如。则可以接收来自主流的数据,并将它们分配到不同的输出流中。在 Flink 中,侧输出流(Side Outputs)通过。可以让用户指定一个输出流的名称,并提供一个类型信息。方法:获取侧输出流中的数据。中常常用于处理侧输出。

weixin_59474981的博客 579

基于深度学习的电力系统暂态稳定评估与预防控制复现

本文复现了基于深度学习的电力系统暂态稳定评估与预防控制方法。主要内容包括:(1)数据预处理环节,对IEEE 39节点系统的电压幅值、相角等特征数据进行归一化处理;(2)ACNGAT模型实现,该模型结合时间卷积网络(TCN)和图注意力网络(GAT)提取时空特征;(3)采用改进的帝企鹅优化算法进行预防控制。关键技术点包括:融合时空信息的特征提取、改进的邻接矩阵构建方法(λ_ij = E_i * E_j * B_ij)以及时空注意力机制。代码实现采用Python和PyTorch框架。

huanghm88的专栏 336

军品研制过程-转阶段

介绍军品转阶段评审

Abel的博客 2万+

Flink 系例 之 SideOutput

SideOutput方法:(侧输出)从主数据流中根据outputTag获取额外的输出流(分流场景下使用) 示例环境 java.version: 1.8.x flink.version: 1.11.1 示例数据源(项目码云下载) Flink 系例 之 搭建开发环境与数据 SideOutput.java import com.flink.examples.DataSource; import org.apache.flink.api.java.tuple.Tuple3; import or..

不会飞的小龙人的博客 762

matlab RANSAC拟合圆柱【2025最新版】

RANSAC拟合圆柱

点云侠的博客 3137

Flink中的侧输出流SideOutput使用场景

一、SideOutput流作用 侧输出流有两个作用: (1)分隔过滤。充当filter算子功能,将源中的不同类型的数据做分割处理。因为使用filter 算子对数据源进行筛选分割的话,会造成数据流的多次复制,导致不必要的性能浪费 (2)延时数据处理。在做对延时迟窗口计算时,对延时迟到的数据进行处理,即时数据迟到也不会造成丢失 二、SideOutput使用示例 @Data class OrderLog { private String orderId; private String skuI

星空的风fly 5635

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

全网最详细4W字Flink入门笔记(下)

首先需要构建对应的TableEnviroment创建关系型编程环境,才能够在程序中使用Table API和SQL来编写应用程序,另外Table API和SQL接口可以在应用中同时使用,Flink SQL基于Apache Calcite框架实现了SQL标准协议,是构建在Table API之上的更高级接口。在Flink实际开发过程中,可能会遇到source 进来的数据,需要连接数据库里面的字段,再做后面的处理,比如,想要通过id获取对应的地区名字,这时候需要通过id查询地区维度表,获取具体的地区名。

很多时候犯错都是在不知情的情况下发生的 352

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

Apache Flink 官方文档--流(DataStream API)-旁路输出

旁路输出(side output)   除了来自数据流算子的主流结果输出之外,可以产生任意数量的流旁路输出结果。旁路输出结果数据类型与主流结果的数据类型以及其他旁路输出结果数据类型可以是完全不同的。当你需要分割数据流时,这个算子非常有用。通常需要复制流,然后从每个数据流中过滤掉不需要的数据。  当使用旁路输出时,首先需要定义一个OutputTag来标识一个旁路输出流。Java // this ne...

weixin_33733810的博客 1131

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

旁路(输入)和去耦(电源和输出)

1,旁路电容和去耦电容基础知识 http://www.elecfans.com/d/729492.html 2,旁路和去耦的区别 https://www.sohu.com/a/372980908_656620 那先来帮大家缕一缕,网上的主要解答,看看是不是有什么可以借鉴和思考的地方。当然,这只是我们的一家之言,扛精退散: 解答一 点评:接下来,还有类似下面的图片来对上述文字进行补充说明: 那是不是有图就有真相了呢?虽然这种说法可能很容易被大多数工程师所接受,但是,从电容所处位置不同

学海无涯的专栏 1万+

flink旁路输出

旁路输出在Flink中叫作SideOutput,用途类似于DataStream#split,本质上是一个数据流的切分行为,按照条件将DataStream切分为多个子数据流,子数据流叫作旁路输出数据流,每个旁路输出数据流可以有自己的下游处理逻辑 旁路输出在Flink中叫作SideOutput,用途类似于DataStream#split,本质上是一个数据流的切分行为,按照条件将DataStream切分为多个子数据流,子数据流叫作旁路输出数据流,每个旁路输出数据流可以有自己的下游处理逻辑 package com.

Appreciate(欣赏) 2089

34.DataStream API之Side Outputs

flink 1.9 除了从DataStream操作的结果中获取主数据流之外,你还可以产生任意数量额外的侧输出结果流。侧输出结果流的数据类型不需要与主数据流的类型一致,不同侧输出流的类型也可以不同。当您想要拆分数据流时,通常的做法是复制流,然后从每个流过滤出您不想拥有的数据,但是如果使用side output操作可以很好的解决这种问题。 在使用侧输出时,首先用户需要定义一个OutputTa...

木子李的博客 647

flink的神奇分流器-sideoutput

今天浪尖给大家讲讲flink的一个神奇功能,sideouptut侧输出。为了说明侧输出(sideouptut)的作用,浪尖举个例子,比如现在有一篇文章吧,单词长度不一,但...

大数据星球-浪尖 8897
上一篇: PostgreSQL配置优化
下一篇: 数据流交换策略
王树民
博客等级 码龄10年 912粉丝 560原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值