Flink 实践代码-数据过滤

原创

已于 2024-03-20 15:18:14 修改 · 1k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#flink #学习

于 2024-03-19 20:25:58 首次发布

本文介绍了Apache Flink的数据过滤实践，通过代码展示了如何构建运行环境、接入数据流、进行数据过滤并输出结果。讲解了如何使用map操作解析输入的字符串流为JSON对象流，再利用filter操作筛选出特定字段值为'1'的元素。同时引发思考，讨论了使用Flink TableAPI进行数据过滤的可能性以及处理非定长字符串格式数据的方法。

1.代码与含义解释

1.1 思路

Flink 获取数据流后，需要做数据过滤那么首先就要有一下几个步骤：

构建运行环境
接入数据流
数据过滤
打印结果或输出到其他源例如 Kafka。

1.2 直接上代码

public class visit_table {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        final StreamTableEnvironment tablenv = StreamTableEnvironment.create(env);

        DataStreamSource<String> visit_info = env.readTextFile("ThePaths");

        // 将读取到的数转换成 Json 通过 Json 定位需要过滤的 key 和 value 在将其转换为 String。
        SingleOutputStreamOperator<String> results = visit_info
                .flatMap(new FlatMapFunction<String, JSONObject>() {
                    @Override
                    public void flatMap(String value, Collector<JSONObject> out) throws Exception {
                        JSONObject jsonObject = JSON.parseObject(value);
                        out.collect(jsonObject);
                    }
                })
                .filter(value -> String.valueOf(value.get("is_valid")).equals( "1"))
                .map(new MapFunction<JSONObject, String>() {
                    @Override
                    public java.lang.String map(JSONObject value) throws Exc

最低0.47元/天解锁文章