Spark Sql 执行原理深度解析

本文介绍了SparkSQL中的关键概念,包括SparkSession、Dataset、Catalog、Catalyst等,并解释了这些组件如何共同工作来实现高效的数据处理。SparkSession是SparkSQL的入口点,而Dataset则是一种强类型的数据结构,用于表示结构化查询。

spark sql 执行原理图
spark 相关
高级接口

角色说明
Spark SessionSparkSession 是 Spark SQL 的入口点。它是您在开发 Spark SQL 应用程序时创建的第一个对象之一。作为 Spark 开发人员,您可以使用SparkSession.builder方法(该方法使您可以访问用于配置会话的Builder API)创建一个 SparkSession
DatasetDataset是 Spark SQL 中的强类型数据结构,表示结构化查询。
CatalogMetastore管理据接口,存储关系和实体的对应关系,实体如databases、tables、views、functions、columns,SparkSession.catalog property.
CatalystCatalyst 是一个与执行无关的框架,用于表示和操数据流图,即关系运算符表达式的树。
TreeNodeCatalyst 数中的根节点或者子树
ExpressionExpression 是一个可执行节点(在 Catalyst 树中),它可以在给定输入值的情况下确定结果值,每个内部Row可以生成一个 Java 对象
QueryPlanQueryPlan 是Catalyst 的一部分,用于构建结构化查询的关系运算符树。 Scala 特有的,是一个抽象类,它是LogicalPlanSparkPlan(分别用于逻辑和物理计划)的基类。 QueryPlan

参考:
1)https://cwiki.apache.org/confluence/display/KYLIN/Introduction+to+Internal+of+Spark+SQL

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值