Spark二次排序、自定义排序

最新推荐文章于 2023-08-24 13:50:22 发布

donger__chen

最新推荐文章于 2023-08-24 13:50:22 发布

阅读量397

点赞数

分类专栏： spark 文章标签： scala spark

本文链接：https://blog.youkuaiyun.com/donger__chen/article/details/104414388

版权

spark 专栏收录该内容

20 篇文章

订阅专栏

本文介绍如何在Spark中实现自定义排序，包括二次排序和按不同数据类型排序的方法。通过具体代码示例，展示了如何创建自定义排序键，以实现更复杂的排序需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

//spark进行二次排序 先按第一列排，相等情况下按第二列排

class SecondarySortKey(val first:Int,val second:Int) extends Ordered[SecondarySortKey] with Serializable{
  //必须重写compare
  def compare(other:SecondarySortKey):Int ={
    if(this.first - other.first != 0){
      // 两种情况>0 <0
      this.first - other.first
    } else{
      //三种情况 >0 =0 <0
      this.second - other.second
    }
  }
}

//spark进行自定义排序
//先按第一列String类型进行排序，相同情况下按第二列Int类型进行排序

class DefineSortKey(val first:String,val second:Int) extends Ordered[DefineSortKey] with Serializable{
  def compare(other:DefineSortKey):Int = {
    if(this.first != other.first){
      if(this.first > other.first) 1
      else -1
    } else{
      this.second - other.second
    }
  }
}