RDD之aggregate操作

最新推荐文章于 2021-11-29 20:19:33 发布

原创最新推荐文章于 2021-11-29 20:19:33 发布 · 1.2k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#RDD之aggregate #aggregate

Spark 同时被 2 个专栏收录

29 篇文章

订阅专栏

Spark

28 篇文章

订阅专栏

本文详细解析了 Spark 中 aggregate 函数的工作原理及其实现过程，包括初始值设置、分区内部运算以及分区间合并操作等关键步骤，并通过一个具体示例展示了如何使用 aggregate 函数进行数据聚合。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

源码：
def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U 
[U: ClassTag]:泛型
zeroValue：初始值
seqOp： 每个分区的计算方法
combOp：分区间的计算方法
案例：
object Aggregate {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Aggregate").setMaster("local");
    val sc = new SparkContext(conf);
    val arr=sc.parallelize(Array(1,2,3,4,5,6,7,8,9,10),3)
    val aggregate: Int = arr.aggregate(8)(Math.max(_,_), _ + _);
    println(aggregate)
  }
}
结果：34
运行过程：
1)RDD中有3个partition  part0(1,2,3)  part1(4,5,6) part3(7,8,9,10)
2)对每一个part执行 Math.max(_,_) 方法：Math.max(zeroValue,value)=>result=>Math.max(result,value)......
  part0(1,2,3)=>Math.max(8,1)=>8=>Math.max(8,2)=>8=>Math.max(8,3)=>8  
  part1(4,5,6)=>Math.max(8,4)=>8=>Math.max(8,5)=>8=>Math.max(8,6)=>8
  part2(7,8,9,10)=>Math.max(8,7)=>8=>Math.max(8,8)=>8=>Math.max(8,9)=>9=>Math.max(9,10)=>10
3)对每个分区的计算结果执行_ + _方法:zeroValue+part(0).result+part(1).result
+part(2).result
  _ + _ =>8+8+8+10=34
4)结果是34