Spark SQL完善的表达式系统

最新推荐文章于 2024-12-16 16:15:41 发布

egraldloi

最新推荐文章于 2024-12-16 16:15:41 发布

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/egraldloi/article/details/37697911

本文详细探讨了Spark SQL的表达式系统，包括Expression、QueryPlan的继承结构，以及在不同SQL语句（如aggregation、order by、filter、select）下的物理执行计划。讨论了在优化过程中，如ColumnPruning如何影响Project操作，并通过具体示例分析了表达式计算的逻辑和优化规则。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先spark sql的设计总体上：

1，首先我们要有一个树的节点，通过这个节点可以继承出单孩子节点，双孩子节点，叶子节点以及多孩子节点。
1.1，树的节点有最基本的遍历操作，这个遍历操作支持各种遍历，前缀后缀中缀，因为有些expression的折叠方式这样要求。
2，expression继承的是树的节点，因为expression可能含有两个孩子，一个孩子，多个孩子，也可能没有孩子。
3，QueryPlan继承的也是树节点，因为QueryPlan是可能还有如join两个孩子的逻辑算子，aggregation一个孩子的逻辑算子，或者relation叶子节点的逻辑算子。由QueryPlan再继承出LogicalPlan和PhysicalPlan的。LogicalPlan之上又有UnaryNode，BinaryNode，LeafNode,通过这些可以集成出join，aggregation等逻辑算子。PhysicalPlan在spark sql中叫SparkPlan，同理有SparkPlan继承出的UnaryNode，BinaryNode，LeafNode，通过这些可以继承出最终的物理join，aggregation。

4，对于select upper(a) from T；执行计划为Project--Relation，Project中输入的是a的attribute，但是Relation中出来的是整行，project通过projection，利用eval计算，在projection构造的时候有一个绑定的reference