sparkSQL基础之-----------2.0以前的sql创建

我这里创建的方式就是两种

一，通过RDD和case class的关联来进行创建

1.创建SparkConf和SparkContext

1. val conf=new SparkConf()

2. .setMaster("local")

3. .setAppName("old_sparkSql")

4.  

5. val sc=new SparkContext(conf)

2.创建RDD

  val lines: RDD[String] = sc.textFile("C:\\Demo_data\\people.txt")

3.在object外部创建case class

case  class people(id:Long,name:String,age:Int,fv:Int)

4.对RDD的数据进行处理并与创建的case class进行关联

1. val personRDD: RDD[people] = lines.map(line => {

2. val fields: Array[String] = line.split(",")

3. val id = fields(0).toLong

4. val name = fields(1)

5. val age = fields(2).toInt

6. val fv = fields(3).toInt

7. people(id, name, age, fv)

8. })

5.创建SQLContext

    val sqlContext=new SQLContext(sc)

6.导入隐士转换并进行DataFrame的创建（导入隐式转换的目的就是当前类没有所需要的但是它存在与别的类里面，可以导入隐式转换）

1. import sqlContext.implicits._

2.  

3. val personDF: DataFrame = personRDD.toDF()

7.将创间的datafram进行临时表的创建

   personDF.registerTempTable("T_person")

8.利用sqlContext进行对临时表的查询

1. val result: DataFrame = sqlContext.sql("SELECT name,age,fv FROM T_person ORDER BY fv desc")

2.  

9.进行actio操作，并且关闭资源：

1. result.write.json("C:\\people.json")

2.  

3. sc.stop()

 

二，通过创建schame信息来创建

1.创建SparkConf和SparkContext

1. val conf=new SparkConf()

2. .setMaster("local")

3. .setAppName("old_sparkSql_schame")

4.  

5. val sc=new SparkContext(conf)

2.创建RDD

  val lines: RDD[String] = sc.textFile("C:\\Demo_data\\people.txt")

3.对RDD的数据进行处理并且设置RDD的类型为 RDD[Row]

1. val peosonRow: RDD[Row] = lines.map(line => {

2. val Array12: Array[String] = line.split(",")

3. val id = Array12(0).toLong

4. val name = Array12(1)

5. val age = Array12(2).toInt

6. val fv = Array12(3).toInt

7. Row(id, name, age, fv)

8. })

4.创建SQLContext

    val sqlContext=new SQLContext(sc)

5.创建schame元数据信息类型格式

1. val schame=StructType(

2. List(

3. StructField("id",LongType,true) ,

4. StructField("name",StringType,true),

5. StructField("age",IntegerType,true),

6. StructField("fv",IntegerType,true)

7. )

8. )

 

6.创建DataFream同时传入两个参数

    val pdf: DataFrame = sqlContext.createDataFrame(peosonRow,schame)

7.创建临时表：

    pdf.registerTempTable("t_people")

8.利用sqlContext进行对临时表的查询

1. val result: DataFrame = sqlContext.sql("SELECT name,age,fv FROM T_person ORDER BY fv desc")

2.  

9.进行actio操作，并且关闭资源：

1. result.write.json("C:\\people.json")

2.  

3. sc.stop()