scala 对大数据量排序求中位数 lookup方法

最新推荐文章于 2025-05-21 21:50:47 发布

power0405hf

最新推荐文章于 2025-05-21 21:50:47 发布

阅读量6.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： scala spark 文章标签： scala 中位数 median lookup

本文链接：https://blog.youkuaiyun.com/power0405hf/article/details/50465434

scala 同时被 2 个专栏收录

48 篇文章

订阅专栏

spark

34 篇文章

订阅专栏

本文介绍了如何使用Scala处理大数据量排序，通过sortBy创建有序RDD，结合WithIndex调整顺序。针对偶数个元素的情况，中位数为中间两个数的平均值。重点讲解了lookup方法，它根据键从映射中获取对应的值，例如在给定示例中，lookup用于获取特定索引处的元素。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

val rdd=sc.makeRDD(Array(1,8,6,4,9,3,76,4))
val sorted = rdd.sortBy(identity).zipWithIndex().map {
  case (v, idx) => (idx, v)
}

val count = sorted.count() 
val median: Double = if (count % 2 == 0) {
  val l = count / 2 - 1
  val r = l + 1
  (sorted.lookup(l).head + sorted.lookup(r).head).toDouble / 2

} else sorted.lookup(count / 2).head.toDouble
println(median)

首先根据元素排序（sortBy）,得到有序RDD

RDD[Int]=(1,3,4,4,6,8,9,76)

WithIndex后与index调换顺序.

(1,1)，(2,3)，(3,4)，(4,4)，(5,6)，(6,8)，(7,9)，(8,76)

然后如果有偶数个的话，中位数就是最中间两个数的平均数

lookup

lookup是根据map中的键来取出相应的值的，
如上面的sorted.lookup(1) ，得到的结果是一个序列Seq[Int]
如果sorted是

RDD((1，(1，"a",1.0)),(1,(2,"b",9.1))

sorted.lookup(1)得到的就是Seq[(Int,String,Double)]，是键为1的所有值的序列，

println(sorted.lookup(1))
//是
WrappedArray((1,a,1.0),(2,b,9.0))

sorted.lookup(1).head是第一项，即(1,a,1.0),
sorted.lookup(1).tail是第二项，即Seq[(Int,String,Double)]