Flink--Table API 和SQL入门案例

最新推荐文章于 2024-06-10 19:54:23 发布

大数据蝼蚁

最新推荐文章于 2024-06-10 19:54:23 发布

阅读量239

点赞数

分类专栏： flink 文章标签： sql flink scala

本文链接：https://blog.youkuaiyun.com/weixin_42051673/article/details/120497845

版权

flink 专栏收录该内容

7 篇文章

订阅专栏

该博客展示了如何利用Apache Flink的Table API和SQL进行流式数据处理。首先，从SensorSource获取数据流并转换为动态表。接着，通过Table API进行过滤操作，筛选出id为'sensor_1'的记录。最后，将结果表再次转换为流并打印输出。此外，还演示了如何使用SQL查询注册为临时视图的流数据，实现相同的数据筛选功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

流式表处理的过程可以描述出下图：

1.先把流转换成动态表 Stream=> table

2.表经过一定操作，转成结果表 table （CRUD）=> table

3.将表转换成流输出 table => Stream

/**
 * @program: flink
 * @description: ${description}
 * @author: Mr.G
 * @create: 2021-09-26 19:21
 **/
package com.ct.day08

import com.ct.day01.SensorSource
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
import org.apache.flink.table.api._
import org.apache.flink.api.scala._
import org.apache.flink.table.api.scala._
import org.apache.flink.types.Row


/**
 * @ClassName: ScalarFunction
 * @Description: ${description}
 * @Author Mr.G
 * @Date 2021/9/26
 * @Version 1.0
 *
 */
object TableApiExample {

  def main(args: Array[String]): Unit = {

    val  env = StreamExecutionEnvironment.getExecutionEnvironment

    env.setParallelism(1)

    val settings = EnvironmentSettings
      .newInstance()
      .useBlinkPlanner()
      .inStreamingMode()
      .build()

    //得到表处理运行环境
    val tEnv = StreamTableEnvironment.create(env,settings)

    val stream = env.addSource(new SensorSource)


    // stream => table

    val table: Table = tEnv.fromDataStream(stream,'id,'timestamp as 'ts,'temperature)


    // TableApi 形式
    // table   CRUD   => table
    val rstable: Table = table
      .filter("id ='sensor_1'")
      .select('id)
    // table => DStream
    tEnv.toAppendStream[Row](rstable)
//      .print()


    // SQL 形式

    //先注册成一个表(视图）    Stream => table
    tEnv.createTemporaryView("sensor",stream,'id,'timestamp as 'ts,'temperature)


    //table   CRUD  => table
    tEnv.sqlQuery(" select id from sensor where id = 'sensor_1'")
      //table => Stream
      .toAppendStream[Row]
     // .toRetractStream[Row]
        .print()

    env.execute()

  }

}