spark中使用Ordered自定义排序规则-模式匹配

最新推荐文章于 2024-10-08 22:01:27 发布

原创最新推荐文章于 2024-10-08 22:01:27 发布 · 793 阅读

0 ·

CC 4.0 BY-SA版权

大数据专栏收录该内容

36 篇文章

订阅专栏

本文介绍了一个使用Scala编程语言进行复杂排序的案例，通过定义一个样例类Girl并实现Ordered特质，根据年龄和体重两个条件对人物数据进行排序。首先，创建了一个包含人物姓名、年龄和体重的数组，然后通过模式匹配和sortBy函数完成了排序过程。

定义一个数组
val girl: Array[String] = Array(“reba,18,80”,“mimi,22,70”,“liya,30,80”,“jingtian,18,85”)
按照年龄和体重进行排序
年龄小的排前面，如果年龄相同，体重大的排前面，有两个排序条件

定义样例类实现排序方式
当一个类被定义成为case类后，Scala会自动帮你创建一个伴生对象
实例化不需要new关键字

case class Girl(val name:String,val age:Int,val weight:Int) extends Ordered[Girl] with Serializable{
  override def compare(that: Girl): Int = {
    //如果年龄相同 体重重的往前排
    if (this.age == that.age){
      //如果正数 正序 负数 倒序
      -(this.weight - that.weight)
    }else{
      //年龄小的往前排
      this.age -that.age
    }
  }
  override def toString: String = s"名字：$name,年龄：$age,体重：$weight"
}

匹配
val sorted = grdd2.sortBy(s => Girl(s._1,s._2,s._3))

完整代码

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.rdd.RDD

object MySort2 {
  def main(args: Array[String]): Unit = {
    //1.初始化sparkcontext,spark程序入口
    val conf: SparkConf = new SparkConf().setAppName("").setMaster("local[2]")
    val sc: SparkContext = new SparkContext(conf)

    //2.创建数组
    val girl: Array[String] = Array("reba,18,80","mimi,22,70","liya,30,80","jingtian,18,85")

    //3.转换RDD
    val grdd1: RDD[String] = sc.parallelize(girl)

    //4.切分数据
    val grdd2: RDD[(String, Int, Int)] = grdd1.map(line => {
      val field: Array[String] = line.split(",")

      //拿到每个属性
      val name = field(0)
      val age = field(1).toInt
      val weight = field(2).toInt
      (name, age, weight)
    })

    //5.模式匹配方式进行排序
    val sorted = grdd2.sortBy(s => Girl(s._1,s._2,s._3))
    val r = sorted.collect()
    println(r.toBuffer)
    sc.stop()
  }
}

case class Girl(val name:String,val age:Int,val weight:Int) extends Ordered[Girl] with Serializable{
  override def compare(that: Girl): Int = {
    //如果年龄相同 体重重的往前排
    if (this.age == that.age){
      //如果正数 正序 负数 倒序
      -(this.weight - that.weight)
    }else{
      //年龄小的往前排
      this.age -that.age
    }
  }
  override def toString: String = s"名字：$name,年龄：$age,体重：$weight"
}