Spark SQL

Spark SQL

1. SparkSql概述

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。Hive是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生，它是将Spark SQL转换成RDD，然后提交到集群执行，执行效率非常快！

2. Spark特点

• 易整合(Integrated)
• 统一的数据访问方式（Uniform Data Access)
• 兼容Hive
• 标准的数据连接

3. DataFrames

DataFrame是以列构成的分布式数据集。然而DataFrame更像传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即schema。同时与Hive类似，DataFrame也支持嵌套数据类型（struct、array和map）。从API易用性的角度上看，DataFrame API提供的是一套高层的关系操作，比函数式的RDD API要更加友好，门槛更低。

4. 创建DataFrames例子

1.在本地创建一个文件，有三列，分别是id、name、age，用空格分隔，然后上传到hdfs上
hadoop fs -put person.txt /

2.在spark shell执行下面命令，读取数据，将每一行的数据使用列分隔符分割
val lineRDD = sc.textFile("hdfs://master:9000/person.txt").map(_.split(" "))

3.定义case class（相当于表的schema）
case class Person(id:Int, name:String, age:Int)

4.将RDD和case class关联
val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))

import sqlContext.implicits._

5.将RDD转换成DataFrame
val personDF = personRDD.toDF

6.对DataFrame进行处理
personDF.show

5. DataFrame DSL语法

1. 查看DataFrame中的内容
   personDF.show

2. 查看DataFrame部分列中的内容
   personDF.select(personDF.col(“name”)).show
   personDF.select(“name”,“age”).show
   personDF.select($“name”, $“age” + 1).show()

3. 条件查询
   personDF.filter(personDF.col(“age”) >= 18).show

   // This import is needed to use the $-notation使用$需要导入隐式转换
   import spark.implicits._
   personDF.filter($“age”>= 18).show

4. 按年龄进行分组并统计相同年龄的人数
   personDF.groupBy(“age”).count().show()

6. DataFrame SQL语法

如果想使用SQL风格的语法，需要将DataFrame注册成表
personDF.registerTempTable(“t_person”)

查询年龄最大的前两名
sqlContext.sql(“select * from t_person order by age desc limit 2”).show

显示表的Schema信息
sqlContext.sql(“desc t_person”).show

7. 编程方式执行Spark SQL查询

object PersonSql{
  def main(args: Array[String]) {

    //创建SparkConf()并设置App名称
    val conf = new SparkConf().setAppName("SQL-1")
    //SQLContext要依赖SparkContext
    val sc = new SparkContext(conf)
    //创建SQLContext
    val sqlContext = new SQLContext(sc)

    //从指定的地址创建RDD
    val lineRDD = sc.textFile(args(0)).map(_.split(" "))

    //创建case class
    //将RDD和case class关联
    val personRDD = lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))
    //导入隐式转换，如果不到人无法将RDD转换成DataFrame
    //将RDD转换成DataFrame
    import sqlContext.implicits._
    val personDF = personRDD.toDF
    //注册表
    personDF.registerTempTable("t_person")
    //传入SQL
    val df = sqlContext.sql("select * from t_person order by age desc limit 2")
    //将结果以JSON的方式存储到指定位置
    df.write.json(args(1))
    //停止Spark Context
    sc.stop()
  }
}

//case class一定要放到外面
case class Person(id: Int, name: String, age: Int)

将程序打成jar包，上传到spark集群，提交Spark任务
/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-submit
–class cn.zhmcode.spark.sql.InferringSchema
–master spark://node1.itcast.cn:7077
/root/spark-mvn-1.0-SNAPSHOT.jar
hdfs://master:9000/person.txt
hdfs://master:9000/out