Flink常用算子总结

最新推荐文章于 2024-01-04 08:52:10 发布

codenow.fun

最新推荐文章于 2024-01-04 08:52:10 发布

阅读量799

点赞数

分类专栏： Flink 大数据

本文链接：https://blog.youkuaiyun.com/Jack__iT/article/details/114274626

版权

Streaming 算子

Map，将元素处理转换，再输出。map算子对一个DataStream中的每个元素使用用户自定义的Mapper函数进行处理，每个输入元素对应一个输出元素，最终整个数据流被转换成一个新的DataStream。输出的数据流DataStream<OUT>类型可能和输入的数据流DataStream<IN>不同。我们可以重写MapFunction或RichMapFunction来自定义map函数

public static class DoubleMapFunction implements MapFunction<Integer, String> {
    @Override
    public String map(Integer input) {
      return "function input : " + input + ", output : " + (input * 2);
    }
}

FlatMap，将元素处理转换，再输出（可输出多个）flatMap算子和map有些相似，输入都是数据流中的每个元素，与之不同的是，flatMap的输出可以是零个、一个或多个元素，当输出元素是一个列表时，flatMap会将列表展平。

DataStream<String> longSentenceWords = dataStream.flatMap(new FlatMapFunction<String, String>() {
    @Override
    public void flatMap(String input, Collector<String> collector) throws Excepti