本文介绍了Apache Spark SQL的优化流程，包括从SQL解析成抽象语法树（UnresolvedLogicalPlan），到填充表结构信息形成已解析逻辑计划（ResolvedLogicalPlan），再到优化逻辑计划（OptimizedLogicalPlan）的过程。此外还涉及了如何生成物理执行计划（PhysicalPlans），并最终通过WholeStageCodeGen生成Java字节码。
Unresolved Logical Plan
Spark使用Antlr将SQL/DataFrame 编译为一颗Unresolved Logical Plan(抽象语法树AST)，树上的节点不带有数据类型等信息。SparkSqlAstBuilder类与此相关。
Resolved Logical Plan
Spark从Catalog获取表结构信息，并填充AST得到Resolved Logical Plan，这个过程通常称为Analysis。若表不存在之类错误，则返回错误。
Optimized Logical Plan
Spark进行一系列优化手段，例如谓词下推(Predicate Pushdown)，Constant Folding(1 + 1运算转化为常量3)，得到一个优化后的执行计划。
Physical Plans
RBO此时其作用，应用这些规则(Rule)后，得到多个物理执行计划。Spark再根据成本模型，选择一个最优物理执行计划。
Whole Stage CodeGen
将物理执行计划翻译为Java字节码。Spark 2.0引入该特性。
https://data-flair.training/blogs/spark-sql-optimization-catalyst-optimizer/
扫一扫
1118
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
