Flink实践代码-TableAPI 与 DataStream 互转

原创

已于 2024-04-01 12:03:31 修改 · 1.2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#flink #大数据

于 2024-03-29 17:53:39 首次发布

本文详细介绍了如何在Flink中使用TableAPI与DataStream进行互转，以实现SQL查询。首先构建Flink运行环境，接着接入数据源，然后通过代码演示如何处理数据，特别是在给Row格式数据加字段名称方面遇到的问题及解决方法。此外，还探讨了在多变数据结构下和版本升级时的应对策略。最后，简述了Flink的Table API特性，它是批处理和流处理的统一接口，支持直接在代码中嵌入查询，提供了与SQL类似的便利。

1.代码与含义解释

1.1 思路

Flink 获取数据流后，需要做数据过滤那么首先就要有一下几个步骤：

构建运行环境
接入数据流
TableAPI 与 DataStream 互转，实现 SQL 查询

1.2 直接上代码

package com.youtree.flink;

import com.alibaba.fastjson2.JSON;
import com.alibaba.fastjson2.JSONObject;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.types.Row;
import org.apache.flink.util.Collector;

import java.util.ArrayList;
import java.util.List;
import java.util.Objects;
 
public class Visit_Info_for_table {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        final StreamTableEnvironment tabEnv = StreamTableEnvironment.create(env);


        DataStream<String> VisitInfo = env.readTextFile("FilePathinfos");

        DataStream<JSONObject> jsonObjectDataStream = VisitInfo.flatMap(new FlatMapFunction<String, JSONObject>() {
                    @Override
                    public void flatMap(String s, Collector<JSONObject> collector) throws Exception {
                        JSONObject jsonObject = JSON.parseObject(s);
                        jsonObject.remove("visit_info");
                        collector.collect(jsonObject);
                    }
                })
                .filter(value -> String.valueOf(value.get("is_valid")).equals("1"))
                .filter(Objects::non