FlinkSQL源码解析（一）转换流程

原创 已于 2022-03-11 00:16:14 修改 · 6.4k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #flink

于 2022-03-10 12:44:27 首次发布
本文详细介绍了Flink SQL的处理流程，从JavaCC生成的SQL解析器解析SQL语句成SqlNode，再到Calcite进行校验和转换为Operation。接着，Flink利用Blink Planner将Operation转为RelNode并执行优化，最后生成Transformation并转化为可执行的流计算任务。整个流程涉及SqlNode、Operation、RelNode和Transformation的转化及优化。

1、前言

1.1、JavaCC

        JavaCC(Java Compiler Compiler)是一个开源的语法分析器生成器和词法分析器生成器。JavaCC通过词法和语法描述文件来生成分析器。

        flink通过java CC生成分析器用于sql解析和校验。

如下图：在flink-table下的flink-sql-parser项目中，org.apache.flink.sql.parser.impl下的类，就是使用javacc生成的。

1.2、Calcite

        Apache Calcite是一个动态数据管理框架 ，它具备很多典型数据库管理系统的功能，如SQL解析、SQL校验、SQL查询优化等，又省略了一些功能，如不存储相关数据，也不完全包含相关处理数据等。

        flink中的sql解析、sql校验和sql优化便是依赖calcite来完成的。

        梳理一下Calcite SQL执行的几个阶段：

  1. 通过Parser解析器将传入的sql解析成一颗词法树，SqlNode作为树的节点
  2. 做词法的校验Validate，类型校验，元数据校验等等
  3. 将校验好的SqlNode树转换成对应的关系代数表达式，也是一颗树，RelNode作为节点
  4. 将RelNode关系代数表达式树，通过内置的两种优化器Volcano , Hep 优化关系代数表达式得到最优逻辑代数的一颗树，也是RelNode
  5. 最优的逻辑代数表达式（RelNode）,会被转换成对应的可执行的物理执
最低0.47元/天 解锁文章
Flink 源码解析：大数据 SQL 执行流程
CodeHeroicX的博客
09-02 386
在大数据领域，Apache Flink 是一个强大的、分布式的流处理和批处理框架。本文将深入探讨 Flink 的 SQL 执行流程，并结合相应的源代码进行解析。本文介绍了 Flink 的 SQL 执行流程，并结合相应的源代码进行了解析。通过深入理解 Flink 的 SQL 执行流程，开发者可以更好地掌握 Flink 的使用和原理。物化视图是将优化后的逻辑查询计划转换为物理执行计划的过程。Flink 使用了任务调度器和执行引擎来执行物化视图，并生成最终的结果。对象，它表示解析后的逻辑查询计划。
源码解读 | Flink SQL 深入了解 TableFactory 发现机制
最新发布
SmartSi
11-02 968
可扩展性：基于 SPI 机制，支持用户自定义扩展灵活性：通过多级匹配策略处理复杂的 TableFactory 选择场景错误诊断：提供详细的错误信息帮助用户调试配置问题。
FlinkSQL源码解析（三）执行流程
Yuan_CSDF的博客
03-13 3561
1、前言 前面2部分主要是介绍以下2点： flink sql整体的执行流程大致为：sqlNode --> Operation --> RelNode --> 优化 --> execNode --> Transformation。 以及flink sql源码解析需要使用到的java spi。 现在具体来看看flink sql 在其内部转换的实现步骤，就是如何去调用连接器，主要是在sqlNode --> RelNode这一步。 ...
空0018
Direction_Wind的博客
02-15 4017
18。
flinksql 解析学习
qq_41090363的博客
01-23 3130
Flink sql 之sql 解析篇： 1.主要是为了实现 利用flink 原生引擎去解析sql 生成语法树，打印日志信息便于去维护。 2.flink解析之Calcite和sql 解析过程 sql 解析阶段：calcite parser 解析（sql -> AST，AST 即 SqlNode Tree） SqlNode 验证阶段：calcite validator 校验（SqlNode -> SqlNode，语法、表达式、表信息） 语义分析阶段：SqlNode 转换为 RelNode，RelNo
Apache Flink 漫谈系列(08) - SQL概览
weixin_34090643的博客
11-17 299
SQL简述 SQL是Structured Query Language的缩写，最初是由美国计算机科学家Donald D. Chamberlin和Raymond F. Boyce在20世纪70年代早期从 Early History of SQL 中了解关系模型后在IBM开发的。该版本最初称为[SEQUEL: A Structured English Que...
FlinkSQL 源码解析及简介
HackQuestR的博客
08-19 396
FlinkSQL 是 Flink 提供的一种基于 SQL 的编程接口，使开发人员能够使用类似于传统关系数据库的 SQL 查询语言来处理和分析大规模的数据流。FlinkSQL 是 Apache Flink 提供的一种高级查询语言，它支持常见的 SQL 查询操作，如 SELECT、INSERT、UPDATE、DELETE 等，同时还提供了丰富的窗口操作和聚合函数，以满足复杂的数据处理需求。这只是一个简单的示例，FlinkSQL 还支持更复杂的查询操作和丰富的语法特性，包括窗口操作、连接操作、UDF 函数等。
Flink SQL 执行框架源码
03-16 160
2. 然后使用优化器基于规则进行等价变换，例如我们比较熟悉的谓词下推、列裁剪等，经过优化器优化后得到最优的查询计划（RelNode–>RelNode），先基于calcite rules 去优化logical Plan, 再基于Flink定制的一些优化rules去优化logical Plan。经过优化器处理后，得到的逻辑树中的所有节点都是FlinkPhysicalRel ，以待生成物理执行计划了，也就是第三步 translateToExecNodeGraph()
flink源码分析_Flink深入浅出：Sql Gateway源码分析
weixin_39736150的博客
11-30 534
Flink Sql Gateway是Flink集群的“任务网关”，支持以rest api的形式提交查询、插入、删除等任务。官网推荐与Flink jdbc driver搭配使用，不过jdbc driver限制了很多功能，如果自己开发数据平台，最好还是直接使用sql gateway。想要透彻的使用sql gateway，需要了解一下问题：1 如何处理并发请求？多个提交怎么处理？2 如何维护多个sql之...
Flink源码分析(12)Flink SQL执行流程源码分析
道可道非常道
04-29 1410
​ Flink SQL模块的真正目的是将用户提交的SQL语句转换成Flink DataStream的形式，最后提交生成的DataStream算子到执行引擎去执行的过程。，由于executeSql()方法在内部的调用逻辑上可以覆盖sqlQuery(sql)方法，最终会汇总到同一条执行路径，因此关于Flink SQL执行流程源码分析从。调用Calcite的SQL解析模块对SQL语句执行解析，返回SqlNode对象即Calcite的SQL语法树对象。在这里完成了SQL的第二步工作，SQL校验的完成，接着调用。
【源码解析】flink sql执行源码概述：flink sql执行过程中有哪些阶段，这些阶段的源码大概位置在哪里
hiliang521的博客
12-13 2581
本文大致分析了flink sql执行过程中的各个阶段的源码逻辑，这样可以在flink sql执行过程中， 能够定位到任务执行的某个阶段的代码大概分布在哪里，为更针对性的分析此阶段的细节逻辑打下基础，比如create 的逻辑是怎么执行的，select的逻辑是怎么生成的，优化逻辑都做了哪些，而这些是接下来的文章要分析的。
flinkStreamSQL
05-26
flinkStreamSQL 基于开源的flink，对其实时sql进行扩展 自定义create table 语法（包括源表,输出表,维表） 自定义create view 语法 自定义create function 语法 实现了流与维表的join 支持原生FLinkSQL所有的语法 扩展了输入和输出的性能指标到promethus 新特性: 1.kafka源表支持not null语法,支持字符串类型的时间转换。 2.rdb维表与DB建立连接时，周期进行连接，防止连接断开。rdbsink写入时，对连接进行检查。 3.异步维表支持非等值连接，比如：<>,<,>。 4.增加kafka数组解析 5.增加kafka1.0以上版本的支持 6.增加postgresql、kudu、clickhouse维表、结果表的支持 7.支持插件的依赖方式,参考pluginLoadMode参数 8.支持cep处理 9.支持
sqlSubmit:基于 Flink 的 sqlSubmit 程序
04-14
sqlSubmit 基于flinkSQL提交程序 现在只支持flink 1.12.0 了解有关Flink的更多信息 源自Jark的博客 特征 提交flink sql到集群 例子 SQL文件demo.sql像这样： -- source CREATE TABLE user_log ( user_id VARCHAR ,item_id VARCHAR ,category_id VARCHAR ,behavior VARCHAR ,ts TIMESTAMP ) WITH ( ' connector.type ' = ' kafka ' , -- 使用 kafka connector , ' connector.version ' = ' universal ' ,
Flink or DB sql解析
似水_逆行的博客
11-12 574
数据库，flink，sql，解析
Flink SQL代码补全提示（源码分析）
阿甘兄
09-22 2234
详细讲解Flink SQL代码补全的源码
FlinkSQL源码解析1--提交任务过程
JacksonKing的专栏
10-30 1193
org.apache.flink.table.api.internal.TableEnvironmentImpl#executeSql @Override public TableResult executeSql(String statement) { List<Operation> operations = getParser().parse(statement); if (operations.size() != 1) { throw n
解析和校验Flink SQL语句
白夜的随笔
12-18 3794
Flink对SQL的支持是基于Apache Calcite实现的，且Flink包中集成了Apache Calcite，所以我们可以直接调用Flink包中的SQL解析类，来解析和校验我们的Flink SQL语句。 import org.apache.calcite.avatica.util.Casing; import org.apache.calcite.sql.SqlNode; import org.apache.calcite.sql.parser.SqlParser; import org.apach
Flink SQL 深度解析：大数据处理中的必备工具
VqhhMobile的博客
09-18 329
通过示例代码，你可以了解如何使用 Flink SQL 创建表、查询数据、进行数据转换和计算，并将结果输出到指定的数据源或存储系统中。上述代码首先创建了一个执行环境和一个表环境，然后使用 Flink SQL 创建了一个名为 “Orders” 的表，该表定义了订单数据的结构和模式。Flink SQL 是 Flink 提供的一种基于 SQL 的编程接口，它允许开发人员使用标准的 SQL 语句来查询和操作数据流或批处理数据。本文将详细介绍 Flink SQL 的基本概念、语法和用法，并提供相应的源代码示例。
Flink SQL解析工具类实现：从SQL到数据血缘的完整解析
qq_42773076的博客
06-23 1233
摘要：本文介绍了一个Flink SQL解析工具类的核心功能与实现。该工具基于Apache Calcite解析框架，实现了Flink SQL的语法解析、表结构提取和血缘关系构建。主要功能包括：1）过滤自定义函数并解析SQL语句；2）从CREATE TABLE语句中提取表结构和连接器信息；3）分析INSERT INTO等操作语句构建数据血缘图谱；4）提供SQL语法验证能力。通过分类处理不同类型的SQL节点，工具能够完整解析Flink SQL工作流，为数据治理和血缘分析提供技术支撑。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值