BD_fuhong的博客

一、数据集 1 张三 26 2 李四 31 3 王五 22 4 赵柳 19 5 James 35 二、代码 object SparkSqlDemo { def main(args: Array[String]): Unit = { //配置参数 val conf = new SparkConf().setMaster("local[*]").setAppName("...

一、基本RDD 1、转化操作 （1）map（）、flatMap()、filter() scala> val line = sc.textFile("/Users/Desktop/log.txt") line: org.apache.spark.rdd.RDD[String] = /Users/qanfuhong/Desktop/log.txt MapPartitionsRDD[1] ...

SparkSQL 是Spark众多组件中技术最复杂的组件之一，它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持，大大降低了开发人员的学习和使用成本。目前，整个 SQL 、Spark ML、Spark Graph 以及 Structured Streaming 都是运行在 Catalyst Optimization & Tungsten Executi...

终于到最后一篇了，我们在前面两篇文章中《一条 SQL 在 Apache Spark 之旅（上）》和《一条 SQL 在 Apache Spark 之旅（中）》介绍了SparkSQL 之旅的 SQL 解析、逻辑计划绑定、逻辑计划优化以及物理计划生成阶段，本文我们将继续接上文，介绍SparkSQL 的全阶段代码生成以及最后的执行过程。 文章目录 1全阶段代码生成阶段 - WholeS...