qq_43670527的博客

Spark SQL 是 Spark 众多组件中技术最复杂的组件之一，它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持，大大降低了开发人员的学习和使用成本。目前，整个 SQL 、Spark ML、Spark Graph 以及 Structured Streaming 都是运行在 Catalyst Optimization & Tungsten Execution 之上的，如下图所示： 所以，正常的 SQL 执行先会经过 SQL Parser 解析 SQL，然后经过

spark内置函数 聚合函数 窗口函数 数组函数 map函数 时间函数 json函数