195、Spark 2.0之Dataset开发详解-typed操作：randomSplit、sample

原创于 2019-02-12 11:44:00 发布 · 627 阅读

0 ·

CC 4.0 BY-SA版权

Spark入坑专栏收录该内容

207 篇文章

订阅专栏

本文介绍Apache Spark中RDD的randomSplit与sample方法的使用。randomSplit根据权重值将RDD划分为多个部分，权重高的部分获取更多元素的概率更大；sample则按指定比例随机抽取RDD中的数据。通过具体代码实例，展示如何运用这两个方法处理Employee数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

randomSplit:根据weight（权重值）将一个RDD划分成多个RDD,权重越高划分得到的元素较多的几率就越大
sample:可以使用指定的比例，比如说0.1或者0.9，从RDD中随机抽取10%或者90%的数据,从RDD中随机抽取数据的功能

代码

object TypedOperation {

  case class Employee(name: String, age: Long, depId: Long, gender: String, salary: Long)

  def main(args: Array[String]): Unit = {
    val sparkSession = SparkSession
      .builder()
      .appName("BasicOperation")
      .master("local")
      .getOrCreate()

    import sparkSession.implicits._
    import org.apache.spark.sql.functions._

    val employeePath = this.getClass.getClassLoader.getResource("employee.json").getPath

    val employeeDF = sparkSession.read.json(employeePath)

    val employeeDS = employeeDF.as[Employee]

    employeeDS.randomSplit(Array(1,2,2,3)).foreach(ds => ds.show())

    employeeDS.sample(0.4).show()

  }
}