spark 分组后排序 spark 分组排序

辉哥之吞并BAT

于 2022-08-25 17:41:02 发布

阅读量670

点赞数

分类专栏： spark 大数据文章标签： spark 大数据 java scala

本文链接：https://blog.youkuaiyun.com/qq_34009542/article/details/71435563

版权

大数据同时被 2 个专栏收录

35 篇文章

订阅专栏

spark

1 篇文章

订阅专栏

本文介绍了一种在Spark中实现数据分组后按数字大小排序的方法，并通过StringBuilder将排序后的数据拼接成字符串。该方法适用于集群环境，避免了排序结果混乱的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

需求：在spark开发中，将数据分组后，再把分组后的数据按照数字的大小排序，并将其一个个拼接起来。

部分代码如下：

val result = prdd.filter(x => x._2 != null && x._2 != "")
      .distinct()
      .mapValues(x => x.toInt)
//这种情况在本地local模式下可以先排序后分组，但是集群上会排序会乱序，所以只能在下面分完组后在排序
//    .sortBy(x => x._2) 
      .groupByKey()
      .mapValues(x => {
        val builder = new StringBuilder
        x.toList.sorted.foreach(y => {
          builder.append(y).append(",")
        })
        builder.toString().substring(0, builder.toString().length - 1)
      })