Spark SQL 源码分析系列文章

最新推荐文章于 2025-10-04 09:58:24 发布
原创 最新推荐文章于 2025-10-04 09:58:24 发布 · 3.5w 阅读 · 78 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark sql #spark #catalyst #sql #hive

这是一系列关于Spark SQL的源码分析文章汇总，涵盖了从SqlParser到Physical Plan的详细解析，包括Catalyst、Analyzer、Optimizer、UDF、In-Memory Columnar Storage和External DataSource等关键模块。通过阅读源码，有助于提升对Spark SQL的理解和使用水平。
最低0.47元/天 解锁文章
Hudi Spark SQL源码学习总结-Create Table
主要分享大数据相关的知识，如Spark、Hudi
07-22 1951
简要总结HudiSparkSql源码执行逻辑，从建表开始。其实从去年开始接触Hudi的时候就研究学习了HudiSparkSQL的部分源码，并贡献了几个PR，但是完整的逻辑有些地方还没有完全梳理清楚，所以现在想要从头开始学习，搞懂一些知识难点，这样以后看相关源码的时候就不会导致因为一些关键点不懂影响进度。由于本人能力和精力有限，本文只讲解自己觉得比较关键的点，主要目的是梳理整个流程。搞懂了SparkSQL默认的sqlParser为,那么Hudi是一样的吗？那我们就需要看一下开始的这里的f为为。...
Spark 源码 | 脚本分析总结
主要分享大数据相关的知识，如Spark、Hudi
02-10 1828
最初是想学习一下Spark提交流程的源码，比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程，但是每个文章描述的又不太一样，弄不清楚到底哪个说的准确，比如Client 和 CLuster 模式的区别，Driver到底是干啥的，是如何定义的，为了彻底弄清楚这些疑问，所以决定学习一下相关的源码。因为不管是服务启动还是应用程序启动，都是通过脚本提交的，所以我们先从分析脚本开始。
spark+carbondata使用
coderlaw's study
09-20 2384
一、部署下载源码编译修改配置文件注意： 1.1.1 不支持spark2.2 会报错。二、启动： spark-shell –jars carbonlib/carbondata_2.11-1.1.1-shade-hadoop2.7.2.jar 三、使用3.1创建上下文import org.apache.spark.sql.SparkSession import org.apache.spark.sq
Spark-Sql源码解析
08-22
详细描述了Spark-sql的原理，从sql语句如何转换为逻辑计划，然后是物理计划，最后是rdd
Spark SQL 中的 Catalyst 优化器是什么？它的作用是什么？
最新发布
weixin_45422672的博客
10-04 651
Spark SQL 的 Catalyst 优化器是一个基于规则和成本的查询优化框架，通过多阶段处理将 SQL/DataFrame 转换为高效执行计划。其核心架构包含解析器、分析器、逻辑优化器和物理计划器四个阶段，采用树结构表示查询。主要优化技术包括谓词下推、列裁剪、常量折叠和 Join 优化等，能显著减少 I/O 和计算开销。Catalyst 还支持自适应查询执行（AQE）进行动态优化，并提供丰富的执行计划监控功能。相比传统优化器，Catalyst 具有更好的扩展性和分布式优化能力，常能实现 100 倍以上
Spark 源码分析
qq_42192672的博客
03-22 1424
Spark 源码分析基础概念Scala Iterator（迭代器）Scala的Option的类型高级概念Yarn模式运行机制(ing)Master & Worker(ing)作业执行原理(ing)Shuffle详解(ing)数据倾斜(ing)算子mapflatMapfilter案例1:案例2mapPartitions案例1mapPartitionsWithIndexgroupByKeydefaultPartitionerShuffledRDD案例1reduceByKey案例1groupBycogro
spark源码分析
04-15
spark
spark sql源码浅析
qq_31407011的博客
02-16 465
spark 源码简单分析 sparksql 作为新增加的spark1.0所支持的lib库中唯一新增加的lib库，可见其重要地位。 分析内容： spark sql执行流程; hive on spark 和 hive on hadoop 的比较； spark sql执行流程分析 首先我们来分析下sql的通用执行过程： 比如说： select n1,n2,n3 from tableN wher...
Spark SQL 源码分析之 In-Memory Columnar Storage 之 cache table
u013939918的博客
07-30 810
Spark SQL 可以将数据缓存到内存中，我们可以见到的通过调用cache table tableName即可将一张表缓存到内存中，来极大的提高查询效率。 这就涉及到内存中的数据的存储形式，我们知道基于关系型的数据可以存储为基于行存储结构 或 者基于列存储结构，或者基于行和列的混合存储，即Row Based Storage、Column Based Storage、 PAX Storage。 Spark SQL 的内存数据是如何组织的？ Spark SQL 将数据加载到内存是...
Spark SQL Catalyst源码分析之SqlParser
u013939918的博客
07-30 491
/**Spark SQL源码分析系列文章*/ Spark SQL的核心执行流程我们已经分析完毕，可以参见Spark SQL核心执行流程，下面我们来分析执行流程中各个核心组件的工作职责。 本文先从入口开始分析，即如何解析SQL文本生成逻辑计划的，主要设计的核心组件式SqlParser是一个SQL语言的解析器，用scala实现的Parser将解析的结果封装为Catalyst TreeNode ，关于Catalyst这个框架后续文章会介绍。 一、SQL Parser入口 Sq...
spark 源码分析
01-25
《Apache Spark源码剖析》以Spark 1.02版本源码为切入点，着力于探寻Spark所要解决的主要问题及其解决办法，通过一系列精心设计的小实验来分析每一步背后的处理逻辑。 《Apache Spark源码剖析》第3~5章详细介绍了Spark Core中作业的提交与执行，对容错处理也进行了详细分析，有助读者深刻把握Spark实现机理。第6~9章对Spark Lib库进行了初步的探索。在对源码有了一定的分析之后，读者可尽快掌握Spark技术。
Spark源码分析
weixin_43866666的博客
12-07 1487
Spark源码分析 Spark on Yarn client Cluster 本质区别，driver位置不同 1)有哪些不同得进程？ 2)分别有什么作用？ 3)Spark作业执行流程是什么样的 跑yarn有 --master yarn CoarseGrainedExecutorBackend 默认executor有两个 CoarseGrainedExecutorBackend SparkSubmit ApplicationMaster 跑Client有 --master client CoarseG
spark sql（一）源码分析sql解析流程
Interest1_wyt的博客
03-04 2181
spark sql解析sql主要基于Catalyst框架，它将复杂的sql解析分为很多的阶段，如未解析的逻辑计划、解析后的逻辑计划、优化后的计划、物理计划等阶段，且每个阶段都有专门的工具类进行处理。
Spark SQL组件源码分析
架构设计
03-22 286
功能 Spark新发布的Spark SQL组件让Spark对SQL有了别样于Shark基于Hive的支持。参考官方手册，具体分三部分： 其一，能在Scala代码里写SQL，支持简单的SQL语法检查，能把RDD指定为Table存储起来。此外支持部分SQL语法的DSL。 其二，支持Parquet文件的读写，且保留Schema。 其三，能在Scala代码里访问Hive元数据，能执行Hive语句，...
Spark SQL之核心源码分析
威少（微笑）
06-26 1808
目录 一：DataFrame lazy特性 二：HiveContext.sql() SQL起始 三：SQLContext.executeSql() 正式执行 四：Spark SQL 具体转换解析分析 一：DataFrame lazy特性 //在用户拿到了封装的 Unresolved LogicalPlan的DataFrame之后 //执行一些 show(),select()...
Spark源码剖析 - 计算引擎
Swordfall的博客
08-10 357
本章导读 RDD作为Spark对各种数据计算模型的统一抽象，被用于迭代计算过程以及任务输出结果的缓存读写。在所有MapReduce框架中，shuffle是连接map任务和reduce任务的桥梁。map任务的中间输出要作为reduce任务的输入，就必须经过shuffle，shuffle的性能优劣直接决定了整个计算引擎的性能和吞吐量。相比于Hadoop的MapReduce，我们可以看到Spark提供...
Apache spark源码分析
02-25
Spark 的源码非常庞大而复杂，但可以大致分为以下几个模块： 1. **Core Module** 这是整个项目的基石，包含了任务调度系统（Scheduler）、依赖管理机制以及底层的RDD操作逻辑。理解这部分有助于掌握如何构建高效...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值