从0到1Flink的成长之路-Table API& SQL发展历程

本文介绍了Flink的Table API和SQL的发展历程,从Blink的引入到Flink 1.9的核心架构升级,强调了Flink在流批统一上的努力。Flink 1.9后,引入了两种查询处理器:旧的Flink Planner和新的Blink Planner,后者实现了流批作业接口的统一,降低了API复杂性。尽管当前Flink SQL性能有待提升,但未来潜力巨大。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Table API& SQL发展历程

自2015年开始,阿里巴巴开始调研开源流计算引擎,最终决定基于 Flink 打造新一代计算引
擎,针对 Flink 存在的不足进行优化和改进,并且在 2019 年初将最终代码开源,也就是Blink。Blink 在原来的 Flink 基础上最显著的一个贡献就是 Flink SQL 的实现。随着版本的不断更新,API 也出现了很多不兼容的地方。

在 Flink 1.9 中,Table 模块迎来了核心架构的升级,引入了阿里巴巴Blink团队贡献的诸多功
能,Flink 的 Table 模块 包括 Table API 和 SQL。

Table API 是一种类SQL的API,通过Table API,用户可以像操作表一样操作数据,非常直观和方便;

SQL作为一种声明式语言,有着标准的语法和规范,用户可以不用关心底层实现即可进行数据的处理,非常易于上手

Flink Table API 和 SQL 的实现上有80%左右的代码是公用的,作为一个流批统一的计算引
擎,Flink 的 Runtime 层是统一的。

在这里插入图片描述
在Flink 1.9 之前,Flink API 层一直分为DataStream API 和 DataSet API,Table API & SQL 位于 DataStream API 和 DataSet API 之上。可以看出流处理和批处理有各自独立的API (流处理DataStream,批处理DataSet)。而且有不

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值