Flink笔记-侧输出流

最新推荐文章于 2025-10-21 08:30:00 发布

原创最新推荐文章于 2025-10-21 08:30:00 发布 · 732 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#flink #java

Flink 专栏收录该内容

10 篇文章

订阅专栏

该博客介绍了如何在Apache Flink中读取Kafka数据流，并通过ProcessFunction处理元素，创建一个侧输出流。当vodid字段不等于vod_0000000001时，数据将被发送到主输出，否则进入侧输出流。这展示了Flink在数据处理中的灵活性。

public class OutPutTagStream {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(3);

        FlinkKafkaConsumer010<String> dwdConsumer = new FlinkKafkaConsumer010<>("dwd", new SimpleStringSchema(), KafkaUtils.comsumerProps());
        DataStreamSource<String> source = env.addSource(dwdConsumer);

        // 创建一个侧输出流
        OutputTag<String> outBak = new OutputTag<String>("bak") {
        };

        // 只有process级别的函数能够写入侧输出流
        SingleOutputStreamOperator<String> out = source.process(new ProcessFunction<String, String>() {
            @Override
            public void processElement(String s, Context context, Collector<String> collector) throws Exception {
                JSONObject jn = JSON.parseObject(s);
                if (jn.get("vodid").equals("vod_0000000001")) {
                    // 写入侧输出流
                    context.output(outBak, "BAK:" + s);
                } else {
                    collector.collect("MAIN:" + s);
                }
            }
        });

        // 获取侧输出流
        DataStream<String> bak = out.getSideOutput(outBak);

        out.print();
        bak.print();

        env.execute();

    }
}