SparkSQL中 RDD、DateSet、相互转化

最新推荐文章于 2025-06-22 16:18:01 发布

MnerX

最新推荐文章于 2025-06-22 16:18:01 发布

阅读量356

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： Spark SparkSQL

本文链接：https://blog.youkuaiyun.com/qq_38483094/article/details/98788637

Spark 专栏收录该内容

19 篇文章

订阅专栏

本文详细介绍了在SparkSQL中RDD、DataFrame和DataSet之间的六种转换方式，包括从RDD转换为DataFrame和DataSet，以及反之的转换过程。通过具体的代码示例，展示了如何在Spark环境中灵活运用这些数据结构，以满足不同的业务需求。

●注意:

1.SparkSQL开发特别灵活，到底使用RDD还是DF、DS得根据业务需要的操作，和个人的对于API的熟练程度进行选择，官方推荐使用DS，RDD后续可能不再更新，但是RDD的算子非常的灵活，且机器学习算法中使用较多，目前开发中还是可以继续使用的！

2.RDD、DF、DS之间的相互转换也有很多(6种)，但是我们实际操作就只有2类:

1)使用RDD算子操作

2)使用DSL/SQL对表操作

具体代码如下：


import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Dataset, Row, SparkSession}

/**
  * Author itcast
  * Date 2019/8/7 14:42
  * Desc 演示RDD、DataFrame、DataSet间的相互转换
  */
object TransformDemo {
  def main(args: Array[String]): Unit = {
    //1.创建SparkSession
    val spark: SparkSession = SparkSession.builder().master("local[*]").appName("SparkSQL").getOrCreate()
    val sc: SparkContext = spark.sparkContext
    sc.setLogLevel("WARN")
    //2.读取文件
    val fileRDD: RDD[String] = sc.textFile("D:\\授课\\190429\\资料\\data\\person.txt")
    val linesRDD: RDD[Array[String]] = fileRDD.map(_.split(" "))
    val personRDD: RDD[Person] = linesRDD.map(line =>Person(line(0).toInt,line(1),line(2).toInt))
    //3.将RDD转成DF
    //注意:RDD中原本没有toDF方法,新版本中要给它增加一个方法,可以使用隐式转换
    import spark.implicits._
    //注意:上面的rowRDD的泛型是Person,里面包含了Schema信息
    //所以SparkSQL可以通过反射自动获取到并添加给DF
    //=========================相互转换======================
    //1.RDD-->DF
    val personDF: DataFrame = personRDD.toDF
    //2.DF-->RDD
    val rdd: RDD[Row] = personDF.rdd
    //3.RDD-->DS
    val DS: Dataset[Person] = personRDD.toDS()
    //4.DS-->RDD
    val rdd2: RDD[Person] = DS.rdd
    //5.DF-->DS
    val DS2: Dataset[Person] = personDF.as[Person]
    //6.DS-->DF
    val DF: DataFrame = DS2.toDF()

    sc.stop()
    spark.stop()
  }
  case class Person(id:Int,name:String,age:Int)
}