超级会员免费看
本文深入探索Spark中的新解析引擎Catalyst，从SQLContext入口开始，介绍Catalog在处理表及列信息中的角色，然后讨论SqlParser如何构建逻辑计划，紧接着是Analyzer进行语法分析，接着是Optimizer的优化过程，再到SparkPlanner生成物理执行计划，最后在QueryExecution中看到SQL转化为RDD并执行。整个流程清晰地展现了Spark处理结构化数据的内部机制。
第46课：Spark中的新解析引擎Catalyst源码初探
1、入口
val sc =new SparkContext(conf)
val sqlcontext =new SQLContext(sc) //sql子框架基于spark context。处理结构化数据的入口。
sqlcontext.scala
2、Catalog初步的处理，例如查询一个表，表中的列开始是不知道的，从unrecognized Logic Plan 到 Logic Plan 中间有一个Catalog的过程。
@transient
protected[sql] lazy val catalog: Catalog = new SimpleCatalog(conf)
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
