Spark SQL 源码分析系列文章

最新推荐文章于 2025-07-20 00:07:18 发布
置顶 最新推荐文章于 2025-07-20 00:07:18 发布
阅读量3.5w 收藏 78
点赞数 12
CC 4.0 BY-SA版权
分类专栏： spark Spark SQL源码分析系列 文章标签： spark sql spark catalyst sql hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/oopsoom/article/details/38257749
这是一系列关于Spark SQL的源码分析文章汇总，涵盖了从SqlParser到Physical Plan的详细解析，包括Catalyst、Analyzer、Optimizer、UDF、In-Memory Columnar Storage和External DataSource等关键模块。通过阅读源码，有助于提升对Spark SQL的理解和使用水平。
最低0.47元/天 解锁文章

200万优质内容无限畅学
Hudi Spark SQL源码学习总结-Create Table
主要分享大数据相关的知识，如Spark、Hudi
07-22 1904
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
Spark 源码 | 脚本分析总结
主要分享大数据相关的知识，如Spark、Hudi
02-10 1716
最初是想学习一下Spark提交流程的源码，比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程，但是每个文章描述的又不太一样，弄不清楚到底哪个说的准确，比如Client 和 CLuster 模式的区别，Driver到底是干啥的，是如何定义的，为了彻底弄清楚这些疑问，所以决定学习一下相关的源码。因为不管是服务启动还是应用程序启动，都是通过脚本提交的，所以我们先从分析脚本开始。
Spark-Sql源码解析
08-22
详细描述了Spark-sql的原理，从sql语句如何转换为逻辑计划，然后是物理计划，最后是rdd
Spark 源码分析
qq_42192672的博客
03-22 1395
Spark 源码分析基础概念Scala Iterator（迭代器）Scala的Option的类型高级概念Yarn模式运行机制(ing)Master & Worker(ing)作业执行原理(ing)Shuffle详解(ing)数据倾斜(ing)算子mapflatMapfilter案例1:案例2mapPartitions案例1mapPartitionsWithIndexgroupByKeydefaultPartitionerShuffledRDD案例1reduceByKey案例1groupBycogro
Spark Catalyst 优化器深度解析
最新发布
csdn_tom_168的博客
07-20 791
Spark Catalyst优化器深度解析摘要： Catalyst是Spark SQL的核心优化引擎，通过规则驱动框架将查询转换为高效物理计划，性能提升可达10倍+。核心优化阶段包括： 解析阶段生成AST语法树 分析阶段绑定元数据 逻辑优化（谓词下推/列裁剪等） 物理计划生成（RBO/CBO） 全阶段代码生成 关键优化技术： 基于代价的Join重排序 统计信息驱动的CBO优化 支持自定义规则扩展 配置参数与explain命令可监控优化效果。
spark源码分析
04-15
spark
spark sql源码浅析
qq_31407011的博客
02-16 451
spark 源码简单分析 sparksql 作为新增加的spark1.0所支持的lib库中唯一新增加的lib库，可见其重要地位。 分析内容： spark sql执行流程; hive on spark 和 hive on hadoop 的比较； spark sql执行流程分析 首先我们来分析下sql的通用执行过程： 比如说： select n1,n2,n3 from tableN wher...
Spark SQL 源码分析之 In-Memory Columnar Storage 之 cache table
u013939918的博客
07-30 791
Spark SQL 可以将数据缓存到内存中，我们可以见到的通过调用cache table tableName即可将一张表缓存到内存中，来极大的提高查询效率。 这就涉及到内存中的数据的存储形式，我们知道基于关系型的数据可以存储为基于行存储结构 或 者基于列存储结构，或者基于行和列的混合存储，即Row Based Storage、Column Based Storage、 PAX Storage。 Spark SQL 的内存数据是如何组织的？ Spark SQL 将数据加载到内存是...
Spark SQL Catalyst源码分析之SqlParser
u013939918的博客
07-30 469
/**Spark SQL源码分析系列文章*/ Spark SQL的核心执行流程我们已经分析完毕，可以参见Spark SQL核心执行流程，下面我们来分析执行流程中各个核心组件的工作职责。 本文先从入口开始分析，即如何解析SQL文本生成逻辑计划的，主要设计的核心组件式SqlParser是一个SQL语言的解析器，用scala实现的Parser将解析的结果封装为Catalyst TreeNode ，关于Catalyst这个框架后续文章会介绍。 一、SQL Parser入口 Sq...
spark 源码分析
专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.
09-13 457
spark 一、 启动篇 (一) 引子 在spark-shell终端执行 val arr=Array(1,2,3,4)val rdd=sc.makeRDD(arr) rdd.collect 以上3行代码构成了一个完整的spark job执行。 (二) 启动篇 shell模式shell模式下启动入口：org.apache.spark.repl. Main submit模式 ...
Spark源码分析
weixin_43866666的博客
12-07 1472
Spark源码分析 Spark on Yarn client Cluster 本质区别，driver位置不同 1)有哪些不同得进程？ 2)分别有什么作用？ 3)Spark作业执行流程是什么样的 跑yarn有 --master yarn CoarseGrainedExecutorBackend 默认executor有两个 CoarseGrainedExecutorBackend SparkSubmit ApplicationMaster 跑Client有 --master client CoarseG
spark sql（一）源码分析sql解析流程
Interest1_wyt的博客
03-04 2081
spark sql解析sql主要基于Catalyst框架，它将复杂的sql解析分为很多的阶段，如未解析的逻辑计划、解析后的逻辑计划、优化后的计划、物理计划等阶段，且每个阶段都有专门的工具类进行处理。
Spark SQL组件源码分析
架构设计
03-22 270
功能 Spark新发布的Spark SQL组件让Spark对SQL有了别样于Shark基于Hive的支持。参考官方手册，具体分三部分： 其一，能在Scala代码里写SQL，支持简单的SQL语法检查，能把RDD指定为Table存储起来。此外支持部分SQL语法的DSL。 其二，支持Parquet文件的读写，且保留Schema。 其三，能在Scala代码里访问Hive元数据，能执行Hive语句，...
Spark SQL之核心源码分析
威少（微笑）
06-26 1717
目录 一：DataFrame lazy特性 二：HiveContext.sql() SQL起始 三：SQLContext.executeSql() 正式执行 四：Spark SQL 具体转换解析分析 一：DataFrame lazy特性 //在用户拿到了封装的 Unresolved LogicalPlan的DataFrame之后 //执行一些 show(),select()...
Spark源码剖析 - 计算引擎
Swordfall的博客
08-10 340
本章导读 RDD作为Spark对各种数据计算模型的统一抽象，被用于迭代计算过程以及任务输出结果的缓存读写。在所有MapReduce框架中，shuffle是连接map任务和reduce任务的桥梁。map任务的中间输出要作为reduce任务的输入，就必须经过shuffle，shuffle的性能优劣直接决定了整个计算引擎的性能和吞吐量。相比于Hadoop的MapReduce，我们可以看到Spark提供...
Apache spark源码分析
02-25
Apache Spark是一个分布式计算框架，它支持内存中的数据处理，大大提高了大数据批处理的速度，并且还能够用于实时流式处理、机器学习等场景。 ### 源码结构 Spark 的源码非常庞大而复杂，但可以大致分为以下几个模块： 1. **Core Module** 这是整个项目的基石，包含了任务调度系统（Scheduler）、依赖管理机制以及底层的RDD操作逻辑。理解这部分有助于掌握如何构建高效的任务分发及执行流程。 2. **SQL Module (Catalyst Optimizer)** Catalyst 是 Spark SQL 中的一个查询优化引擎。通过规则匹配的方式对输入表达式树进行转换，以此达到提高性能的目的。例如，自动选择最优物理计划或者简化某些特定模式下的表达式求值过程。 3. **Streaming Module** 实现了微批次架构来模拟连续的数据流入流出特性。开发者可以通过简单的API快速搭建起强大的实时应用；同时内部也包含了许多针对时间窗口运算的设计考量点。 4. **MLlib / GraphX Modules** MLlib 提供了一系列常用的机器学习算法库及其相关的工具函数；GraphX 则专注于图模型方面的研究工作，如PageRank 算法实现等。 5. **Other Components** 包含Shuffle Manager, Storage Layer, Metrics System等功能组件，在实际运行过程中起到辅助作用。 ### 关键设计原则 - **弹性分布式数据集(RDD)** RDD是一种只读的分区记录集合，它可以并行地存储在集群节点上并且允许用户施加各种变换(transformation)，最终得到新的RDD实例。这种不可变性保证了容错性的简单性和效率最大化。 - **宽窄依赖关系(Wide/Narrow Dependencies)** 根据算子之间的连接方式将DAG划分成Stage阶段时所考虑的因素之一。“窄”表示每个parent partition仅对应少量child partitions，“宽”的情况反之亦然。这直接影响到shuffle文件大小和网络传输成本等问题。 - **延迟加载(Lazy Evaluation)** 当创建一个新RDD之后并不会立即开始计算，而是等到触发Action才会真正启动作业。这一策略不仅节省资源而且便于做更精细粒度的错误恢复措施。 为了深入探究其原理建议从官方文档入手逐步探索各个部分的核心功能接口定义，再结合社区贡献者的博客文章加深认识。此外，GitHub 上面也有很多基于不同版本解读整套体系的文章可供参考。 --
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值