《SparkSQL剖析》SparkSQL到RDD概述

最新推荐文章于 2025-06-22 16:18:01 发布

SW_LCC

最新推荐文章于 2025-06-22 16:18:01 发布

阅读量639

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/SW_LCC/article/details/104049825

SparkSQL的执行从SQL语句开始，经历逻辑计划和物理计划两个阶段。逻辑计划阶段将SQL转化为逻辑算子树，包括Unresolved、Analyzed和Optimized三个步骤。物理计划阶段则将逻辑算子树转化为SparkPlan，最终生成RDD并执行action操作。整个过程在Driver端完成，不涉及分布式环境。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkSQL 到RDD

val spark = SparkSession . builder(). appName("example").master("local").getOrCreate()
spark.read.json("student.json").createOrReplaceTempView("student")
spark.sql("select name from student where age>18").show()

从SQL到Spark RDD 要经过逻辑计划和物理计划两个阶段:
在这里插入图片描述

逻辑计划

逻辑计划将用户的SQL语句转成树型数据结构,SQL中逻辑映射到逻辑算子树的不同节点。逻辑阶段生成的逻辑算子树不会直接体提交，
值作为中间阶段。逻辑算子树形成需要以下三个阶段:
Unresolved LogicalPlan(数据结构，不含任何数据信息)–>Analyzed LogicalPlan(节点中绑定各种信息)–>Optimized LogicalPlan(优化低效的逻辑计划)