Flink Core --- 算子函数

最新推荐文章于 2024-09-18 19:56:00 发布

原创

最新推荐文章于 2024-09-18 19:56:00 发布 · 226 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink

本文介绍了Flink数据流处理中的三个关键算子：Map用于转化数据形成新数据流；FlatMap用于将整体拆分为个体，产生零到多个元素；Filter则用于根据条件过滤数据流中的元素。

1. Map: 将数据流中的数据进行转化

2.FlatMap : 将数据流中的整体拆分个体使用

3.Filter 对流中的元素进行过滤，瞒住条件的返回，不满足条件的过滤掉

1. Map: 将数据流中的数据进行一个转化，形成一个新的数据流，消费一个元素，并且产生一个元素

package com.wudl.core;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
/**
 * @version v1.0
 * @ProjectName Flinklearning
 * @ClassName WordMap
 * @Description TODO map 算子实例
 * @Author wudl
 * @Date 2020/10/29 10:15
 */
public class WordMap {
    /**
     * @param args
     * Map 函数的用法
     * 映射：将数据流中的数据进行一个转化，形成一个新的数据流，消费一个元素，并且产生一个元素
     *参数： Lambda 表达式或者，new MapFunction实现类
     * 返回值：DataStream
     */
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setMaxParallelism(1);
        env.socketTextStream("10.204.125.140", 8899)
                .map(new MapFunction<String, String>() {
                    @Override
                    public String map(String s) throws Exception {
                        String[] split = s.split(",");
                        return split[0] + "---" + split[1];
                    }
                }).print();
        env.execute();
    }
}