63、Spark SQL之使用反射方式将RDD转换为DataFrame

RDD转换为DataFrame

为什么要将RDD转换为DataFrame？因为这样的话，我们就可以直接针对HDFS等任何可以构建为RDD的数据，使用Spark SQL进行SQL查询了。这个功能是无比强大的。想象一下，针对HDFS中的数据，直接就可以使用SQL进行查询。
Spark SQL支持两种方式来将RDD转换为DataFrame。
第一种方式，是使用反射来推断包含了特定数据类型的RDD的元数据。这种基于反射的方式，代码比较简洁，当你已经知道你的RDD的元数据时，是一种非常不错的方式。
第二种方式，是通过编程接口来创建DataFrame，你可以在程序运行时动态构建一份元数据，然后将其应用到已经存在的RDD上。这种方式的代码比较冗长，但是如果在编写程序时，还不知道RDD的元数据，只有在程序运行时，才能动态得知其元数据，那么只能通过这种动态构建元数据的方式。
首先介绍使用反射方式推断元数据

使用反射方式推断元数据

Java版本：Spark SQL是支持将包含了JavaBean的RDD转换为DataFrame的。JavaBean的信息，就定义了元数据。Spark SQL现在是不支持将包含了嵌套JavaBean或者List等复杂数据的JavaBean，作为元数据的。只支持一个包含简单数据类型的field的JavaBean。
Scala版本：而Scala由于其具有隐式转换的特性，所以Spark SQL的Scala接口，是支持自动将包含了case class的RDD转换为DataFrame的。case class就定义了元数据。Spark SQL会通过反射读取传递给case class的参数的名称，然后将其作为列名。与Java不同的是，Spark SQL是支持将包含了嵌套数据结构的case class作为元数据的，比如包含了Array等。
Java版本

public class RDD2DataFrameReflection {

    public static void main(String[] args) {
        SparkConf conf = new SparkConf().setMaster("local").setAppName("RDD2DataFrameReflectionJava");
        JavaSparkContext sparkContext = new JavaSparkContext(conf);
        SQLContext sqlContext = new SQLContext(sparkContext);

        // 创建普通的RDD
        JavaRDD<String> linesRDD = sparkContext.textFile("E:\\testdata\\sparksql\\students.txt");
        JavaRDD<Student> studentRDD = linesRDD.map(new Function<String, Student>() {
            @Override
            public Student call(String s) throws Exception {
                String[] strings = s.split(",");
                Student student = new Student();
                student.setId(Integer.parseInt(strings[0]));
                student.setName(strings[1]);
                student.setAge(Integer.parseInt(strings[2]));
                return student;
            }
        });

        // 使用反射方式，将RDD转换为DataFrame
        // 将Student.class传入进去，其实就是用反射的方式来创建DataFrame
        // 因为Student.class本身就是反射的一个应用
        // 然后底层还得通过对Student Class进行反射，来获取其中的field
        // 这里要求，JavaBean必须实现Serializable接口，是可序列化的
        DataFrame studentDF = sqlContext.createDataFrame(studentRDD, Student.class);

        // 前面讲的DataFrame的常用操作依然试用
        studentDF.show();
        studentDF.schema();
        studentDF.select(studentDF.col("id")).show();
        studentDF.select(studentDF.col("age")).show();
        studentDF.select(studentDF.col("name")).show();
        studentDF.select(studentDF.col("id"), studentDF.col("name"), studentDF.col("age").plus(1));
        studentDF.filter(studentDF.col("age").gt(18)).show();
        studentDF.groupBy(studentDF.col("age")).count().show();

        // 另外，拿到了一个DataFrame之后，就可以将其注册为一个临时表，然后针对其中的数据执行SQL语句
        studentDF.registerTempTable("students");

        DataFrame teenagerDF = sqlContext.sql("select * from students where age < 18");
        // 将查询出来的DataFrame，再次转换为RDD
        JavaRDD<Row> teenagerRDD = teenagerDF.javaRDD();

        // 将RDD中的数据，进行映射，映射为Student
        JavaRDD<Student> studentJavaRDD = teenagerRDD.map(new Function<Row, Student>() {
            @Override
            public Student call(Row row) throws Exception {
                // row中的数据的顺序，可能是跟我们期望的是不一样的！
                Student stu = new Student();
                Student student = new Student();
                student.setAge(row.getInt(0));
                student.setId(row.getInt(1));
                student.setName(row.getString(2));
                return student;
            }
        });

        studentJavaRDD.foreach(new VoidFunction<Student>() {
            @Override
            public void call(Student student) throws Exception {
                System.out.println(student);
            }
        });
        // 将数据collect回来，打印出来
        List<Student> collect = studentJavaRDD.collect();
        for(Student student : collect){
            System.out.println(student);
        }
    }
}

Scala版本

/**
  * 如果要用scala开发spark程序
  * 然后在其中，还要实现基于反射的RDD到DataFrame的转换，就必须得用object extends App的方式
  * 不能用def main()方法的方式，来运行程序，否则就会报no typetag for ...class的错误
  */
object RDD2DataFrameReflection extends App {

  case class Student(id: Int, name: String, age: Int)

  val conf = new SparkConf().setMaster("local").setAppName("RDD2DataFrameReflectionScala")
  val sparkContext = new SparkContext(conf)
  val sqlContext = new SQLContext(sparkContext)
  val lines = sparkContext.textFile("E:\\testdata\\sparksql\\students.txt")
  val stdents = lines.map(line => line.split(",")).map(arr => Student(arr(0).toInt, arr(1), arr(2).toInt))
  // 在Scala中使用反射方式，进行RDD到DataFrame的转换，需要手动导入一个隐式转换
  import sqlContext.implicits._
  stdents.foreach(student => println(student.toString))
  // 这里stdents其实就是一个普通的，元素为case class的RDD,直接对它使用toDF()方法，即可转换为DataFrame
  val studentDF = stdents.toDF()

  // 前面讲的DataFrame的常用操作依然试用
  studentDF.show()
  studentDF.schema
  studentDF.select(studentDF.col("id")).show()
  studentDF.select(studentDF.col("age")).show()
  studentDF.select(studentDF.col("name")).show()
  studentDF.select(studentDF.col("id"), studentDF.col("name"), studentDF.col("age").plus(1))
  studentDF.filter(studentDF.col("age").gt(18)).show()
  studentDF.groupBy(studentDF.col("age")).count.show()

  // 另外，拿到了一个DataFrame之后，就可以将其注册为一个临时表，然后针对其中的数据执行SQL语句
  studentDF.registerTempTable("students")

  val teenagerDF = sqlContext.sql("select * from students where age < 18")
  // 将查询出来的DataFrame，再次转换为RDD
  val teenagerRDD: RDD[Row] = teenagerDF.rdd
  // 在scala中，row中的数据的顺序，反而是按照我们期望的来排列的，这个跟java是不一样的哦
  teenagerRDD.map(row => Student(row.getInt(0), row.getString(1), row.getInt(2)))
    .collect().
    foreach(student => println(student.id + "," + student.name + "," + student.age))
  teenagerRDD.map(row => Student(row.getInt(0), row.getString(1), row.getInt(2)))
    .foreach(student => println(student.id + "," + student.name + "," + student.age))

  // 在scala中，对row的使用，比java中的row的使用，更加丰富
  // 在scala中，可以用row的getAs()方法，获取指定列名的列
  teenagerRDD.map(row => Student(row.getAs("id"), row.getAs("name"), row.getAs("age")))
    .foreach(student => println(student.id + "," + student.name + "," + student.age))

  // 还可以通过row的getValuesMap()方法，获取指定几列的值，返回的是个map
  teenagerRDD.map(row => {
    val map = row.getValuesMap[Any](Array("id","name","age"))
    Student(map("id").toString.toInt, map("name").toString, map("age").toString.toInt)
  }).foreach(student => println(student.id + "," + student.name + "," + student.age))
}