八、Flink入门--TableApi & Sql

最新推荐文章于 2025-05-28 00:00:00 发布

原创

最新推荐文章于 2025-05-28 00:00:00 发布 · 1.6k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#Flink #Apache Flink #Table Api #Sql

本文介绍了Apache Flink的Table API和SQL的使用，包括声明式编程的优势、高性能优化、流批处理一致性以及SQL标准的稳定性。详细讲解了word count例子、注册表、输出表的方式、查询表的操作，以及Table到DataStream或DataSet的转换。同时，探讨了用户自定义函数（UDF、UDTF、UDAF）的编写和特点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TableAPi

1. 概述

TableApi & sql的特点：

声明式：用户只需要关心做什么，不用关心怎么做
高性能：底层会有一个优化器，可以对sql进行优化，达到更好的性能
流批统一：相同的处理逻辑，可以流模式运行，也可以批模式运行
标准稳定：语义标准遵循sql,不易变动
易理解：语义明确，所见即所得

Table API自身的特点：

多声明式数据处理写起来比较容易
比较容易扩展标准的sql

2. Table API编程

2.1 word count例子

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
BatchTableEnvironment tEnv = TableEnvironment.getTableEnvironment(env);

DataSet<WC> input = env.fromElements(
        new WC("hello", 1),
        new WC("word", 2),
        new WC("mvp", 1)
);

Table table = tEnv.fromDataSet(input);//dataSet 转为 Table

Table filtered = table.groupBy("word").select("word,frequency.sum as frequency").filter("frequency=2");

DataSet<WC> result = tEnv.toDataSet(filtered, WC.class);
result.print();