Flink流计算处理-旁路输出

最新推荐文章于 2024-10-18 16:54:10 发布

原创最新推荐文章于 2024-10-18 16:54:10 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink #java #大数据

文章介绍了如何在ApacheFlink中使用OutputTag定义并实现流数据处理的旁路输出，通过ProcessFunction将数据发送到主输出和侧路输出，并展示了Java代码示例，以及如何获取侧路输出DataStream。

使用Flink做流数据处理时，除了主流数据输出，还自定义侧流输出即旁路输出，以实现灵活的数据拆分。

定义旁路输出标签

首先需要定义一个OutputTag，代码如下：

// 这需要是一个匿名的内部类，以便我们分析类型
OutputTag<String> outputTag = new OutputTag<String>("side-output") {};

在ProcessFunction使用Context调用

可以通过以下Function中，将outputTag作为参数传递到Context中

ProcessFunction
KeyedProcessFunction
CoProcessFunction
KeyedCoProcessFunction
ProcessWindowFunction
ProcessAllWindowFunction

代码示例：

DataStream<Integer> input = ...;

final OutputTag<String> outputTag = new OutputTag<String>("side-output"){};

SingleOutputStreamOperator<Integer> mainDataStream = input
  .process(new ProcessFunction<Integer, Integer>() {

      @Override
      public void processElement(
          Integer value,
          Context ctx,
          Collector<Integer> out) throws Exception {
        // 发送数据到主要的输出
        out.collect(value);

        // 发送数据到旁路输出
        ctx.output(outputTag, "sideout-" + String.valueOf(value));
      }
    });

在 DataStream 运算结果上使用 getSideOutput(OutputTag) 方法获取旁路输出流：

final OutputTag<String> outputTag = new OutputTag<String>("side-output"){};
SingleOutputStreamOperator<Integer> mainDataStream = ...;
// 获取到侧流输出DataStream，输出结果类型要与outputTag 定义的一致
DataStream<String> sideOutputStream = mainDataStream.getSideOutput(outputTag);