小朋友2滴偷偷的在写博客

今天写了一个曲折的SQL，大概是这样-- 有可能是我给人家写复杂了withorg_year_view as( select distinct org, year from A)select *from Aminus-- find data that cannot be used because of missing data in formula select f....

文章目录一条SQL在Spark之旅SQL 解析阶段 - SparkSqlParser绑定逻辑计划阶段 - AnalyzerSpark SQL 是 Spark 众多组件中技术最复杂的组件之一，它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持，大大降低了开发人员的学习和使用成本。目前，整个 SQL 、Spark ML、Spark Graph 以及 Structure...

文章目录优化逻辑计划阶段 - Optimizer谓词下推列裁剪常量替换常量累加生成可执行的物理计划阶段 - SparkPlanner优化逻辑计划阶段 - Optimizer在前文的绑定逻辑计划阶段对 Unresolved LogicalPlan 进行相关 transform 操作得到了 Analyzed Logical Plan，这个 Analyzed Logical Plan 是可以直接转换...

文章目录全阶段代码生成阶段 - WholeStageCodegen为什么需要代码生成表达式代码生成（expression codegen）全阶段代码生成（Whole-stage Code Generation）代码编译SQL 执行全阶段代码生成阶段 - WholeStageCodegen前面我们已经介绍了从逻辑计划生成物理计划（Physical Plan），但是这个物理计划还是不能直接交给 S...