FlinkSQL的读入和写出数据

读取数据

file类型的source

package day06;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.DataTypes;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.java.StreamTableEnvironment;
import org.apache.flink.table.descriptors.FileSystem;
import org.apache.flink.table.descriptors.OldCsv;
import org.apache.flink.table.descriptors.Schema;
import org.apache.flink.table.types.DataType;
import org.apache.flink.types.Row;

public class FlinkSQL03_Source_File {
   

    public static void main(String[] args) throws Exception {
   

        //1、创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        //获取TableAPI执行环境
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        //2、构建文件的连接器
        //这里的path是指的是文件名
        //从文件sensor中读取数据数据，然后将数据放到一张零时表中。
        tableEnv.connect(new FileSystem().path("sensor"))
                .withFormat(new OldCsv())
                .withSchema(new Schema()
                .field("id", DataTypes.STRING())
                .field("ts",DataTypes.BIGINT())
                .field("temp",DataTypes.DOUBLE())
                )
                .createTemporaryTable("sensorTable");
           //source是追加流，因为是一条一条的进来的。

        
        //---------下面的部分相当于不属于source。往外对接的时候，往一些地方写的时候，作为输入流，是支持撤回流的。

         //3、读取数据创建表，通过 TableAPI 查询算子，得到一张表。
        Table sensortable = tableEnv.from("sensorTable");

        //4、TableAPI，然后通过继续查询得到想要的表。
        Table  tableResult = sensortable.select("id,temp").where("id='sensor_1'");

        //5、SQL方式
        Table sqlResult = tableEnv.sqlQuery("select id,ts from sensorTable where id ='sensor_7'");

        //6、转换成流打印输出
        
        //从文件章中读取的数据，不能使用聚合函数，也就是最后的输出流是追加流。
       tableEnv.toAppendStream(tableResult, Row.class).print("Table");
       tableEnv.toAppendStream(sqlResult,Row.class).print("SQL");

        //7、执行
        env.execute();
    }

}

kafka类型的source

package day06;

import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.DataTypes;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.java.StreamTableEnvironment;
import org.apache.flink.table.descriptors.Csv;
import org.apache.flink.table.descriptors.Json;
import org.apache.flink.table.descriptors.Kafka;
import org.apache.flink.table.descriptors.Schema;
import org.apache.flink.types.Row;
import org.apache.kafka.clients.consumer.ConsumerConfig;

public class FlinkSQL04_Source_Kafka {
   

    public static void main(String[] args) throws Exception {
   

        //1.创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        //获取TableAPI执行环境
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env);

        //2.创建Kafka的连接器
        tableEnv.connect(new Kafka()
                .version("0.11")
                .topic("test")
                .property(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "hadoop102:9092")
                .property(ConsumerConfig.GROUP_ID_CONFIG, "BigData0720"))
                //.withFormat(new Csv())
                .withFormat(new Json())
                .withSchema(new Schema()
                        .field("id", DataTypes.STRING())
                        .field("ts", DataTypes.BIGINT())
                        .field("temp", DataTypes.DOUBLE()))
                .createTemporaryTable("kafka");

        //这里说的是进来的source，是source，将数据读取到一张临时表中.

        
        
//---------------------------------------------------------------------        
        
       //---Table API的做法 
        //3.创建表
        Table table = tableEnv.from("kafka");

        //4.TableAPI
        Table tableResult = table.groupBy("id").select("id,temp.max");
//---------------------------------------------------------------------       
        
        //--SQL
        //5.SQL的做法
        Table sqlResult = tableEnv.sqlQuery("select id,min(temp) from kafka group by id");

        //6.转换为流进行输出
        
        //上面用了聚合函数，所以这里用的是可撤回流。
        tableEnv.toRetractStream(tableResult, Row.class).print("Table");
        tableEnv.toRetractStream(sqlResult, Row.class).print("SQL");

        //7.执行
        env.execute();


        // bin/kafka-console-producer.sh  --broker-list hadoop102:9092 --topic test
        //   {"id":"sensor_1","ts":"15477112198","temp":"46.8"}

    }

}

输出数据

file类型的sink

package day06;

import bean.SensorReading;
import org.apache.flink.streaming.api.datastream.SingleOutputStreamOperator;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.DataTypes;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.java.StreamTableEnvironment;
import org.apache.flink