Flink进阶(一):Side Output 分流的使用

工作场景中会经常遇到对一个流按照不同维度做拆分,那么该如何做拆分呢?

使用 Filter 分流

filter算子分流,略…

Split + Select 分流

先在 split 算子里面定义 OutputSelector 的匿名内部构造类,然后重写 select 方法,根据数据的类型将不同的数据放到不同的 tag 里面,这样返回后的数据格式是 SplitStream,然后要使用这些数据的时候,可以通过 select 去选择对应的数据类型。
但是Split无法做连续分流,而且已经被标记为废弃了。

Side Output 分流

首先需要做的是定义一个 OutputTag 来标识 Side Output,代表这个 Tag 是要收集哪种类型的数据,如果是要收集多种不一样类型的数据,那么你就需要定义多种 OutputTag

OutputTag<PileExceptionKafkaMessage> exceptionTag = new OutputTag<PileExceptionKafkaMessage>("exception") {};
OutputTag<PileKafkaMessage> normalTag = new OutputTag<PileKafkaMessage>("normal") {};

处理数据,这里就是对数据准确性做校验,把有效的数据输入到正常流中,解析错误和校验不通过的数据输入到 异常流中。

SingleOutputStreamOperator<String
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值