yuangeqing的博客

一：概要 spark sql是一个用于结构化数据处理的spark模块。不像是spark RDD API，Spark  SQL提供的接口提供了数据的结构和计算相关的信息。内部来说，spark sql使用这些额外的信息来执行优化工作。和spark sql交互有以下方式：SQL语句，dataframe的API，datasets的API。当你运算一个结果的时候，使用的是相同的计算引擎，和

一： 概要 从高级来看，每一个spark应用都包含一个驱动程序，执行用户的main方法，在cluster上执行不同的并行计算。spark提供的主要抽象是RDD，这是一个可以在cluster的各个节点上并行计算的分区元素的集合。创造RDD的方法是：使用一个hadoop文件系统中的文件，或者其他的hadoop支持的文件系统，或者是驱动中存在的scala的集合，然后也可以通过tranforma