lisenyeahyeah的博客

Spark-SQL解析如下图所示，Spark-SQL解析总体分为以下几个步骤：解析（Parser）、分析（Analysis）、优化（Optimization）、执行（Physical）、生成RDD（RDDs）。接下来，我们先介绍解析和分析两部分，对于逻辑计划的优化和物理执行计划以及生成RDD后面再专门介绍。

Spark-SQL绑定上一篇文章Spark-SQL解析讲到了Spark-SQL通过Antlr4生成未解析的LogicalPlan。此时的LogicalPlan是Unresolve的，需要通过Catalog来绑定UnresolvedRelation和UnresolvedAttribute，生成解析后的LogicalPlan。元数据（Catalog）在Spark-SQL中，Catalog主要用于...

文章目录Spark-SQL优化规则（Rule）分析（Analyzer）一、ResolveRelations（解析数据表）二、ResolveReferences（解析字段或表达式）1.resolveExpression（解析表达式）2.resolveLiteralFunction（解析常量函数）三、ResolveFunctions（解析函数）四、ResolveAggregateFunctions（解...

文章目录Spark-SQL物理执行优化（Optimizer）一、Push Down1. PushProjectionThroughUnion（Union的Project下推）2. EliminateOuterJoin（消除外连接）3. PushPredicateThroughJoin（Join谓词下推）4. PushDownPredicate（谓词下推）5. ReOrderJoin（重新调整joi...