大数据（8f）RDD分组求均值

创建名为Hello的Object，导入常用的类

import org.apache.spark.{SparkContext, SparkConf}
import org.apache.spark.rdd.RDD

object Hello {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("a1").setMaster("local[*]")
    val sc = new SparkContext(conf)
  }
}

数据和需求

需求示例：计算下面r1中每种 key 的均值并排序

val s = Seq(("a", 88), ("b", 95), ("a", 91), ("b", 93), ("a", 95), ("b", 98))
val r1 = sc.makeRDD(s, numSlices = 2)

分组求平均

方法1：groupByKey

缺点是可能会数据倾斜

val r2 = r1.groupByKey()
//List((b,CompactBuffer(95, 93, 98)), (a,CompactBuffer(88, 91, 95)))
val r3 = r2.map(a => (a._1, a._2.sum.toDouble / a._2.size))
//List((b,95.33333333333333), (a,91.33333333333333))

方法2：reduceByKey

val r2 = r1.map(a => (a._1, (a._2, 1)))
//List((a,(88,1)), (b,(95,1)), (a,(91,1)), (b,(93,1)), (a,(95,1)), (b,(98,1)))
val r3 = r2.reduceByKey((a, b) => (a._1 + b._1, a._2 + b._2))
//List((b,(286,3)), (a,(274,3)))
val r4 = r3.map { case (k, v) => (k, v._1.toDouble / v._2) }
//List((b,95.33333333333333), (a,91.33333333333333))

方法3：combineByKey

参数	说明	备注
createCombiner: V => C	对每个 Key 创建 Combiner 并对初始化第一个 Value	分区内操作
mergeValue: (C, V) => C	传入后续的 Value 来迭代 Combiner	分区内操作
mergeCombiners: (C, C) => C	对同 Key 的 Combiner进行聚合	分区间操作

val r2: RDD[(String, (Int, Int))] = r1.combineByKey(
  v => (v, 1),
  (c: (Int, Int), v: Int) => (c._1 + v, c._2 + 1),
  (c1: (Int, Int), c2: (Int, Int)) => (c1._1 + c2._1, c1._2 + c2._2)
)
//List((b,(286,3)), (a,(274,3)))
val r3 = r2.map { case (k, v) => (k, v._1 / v._2.toDouble) }
//List((b,95.33333333333333), (a,91.33333333333333))

排序

按 Key 排序：sortByKey

val r4 = r3.sortByKey()
println(r4.collect.toList)
//List((a,91.33333333333333), (b,95.33333333333333))

自定义（多列）排序：sortByKey

val r4 = r3.sortBy(e => (e._2, e._1), ascending = false)
print(r4.collect.toList)
//List((b,95.33333333333333), (a,91.33333333333333))