【笔记】java api spark 聚合函数aggregateByKey的参数说明及其用法

原创

于 2019-03-19 17:37:52 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #aggregateByKey #聚合函数

这篇笔记详细介绍了Apache Spark的aggregateByKey方法，包括其参数含义和使用场景。通过示例代码展示了如何进行分组统计，解释了该方法如何结合aggregate和groupByKey的功能。文章还提供了数据运算流程图，帮助理解数据处理过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

来做个分组统计关于aggregateByKey的用法和复杂参数记录

源码函数

<Integer> JavaPairRDD<String, Integer> org.apache.spark.api.java.JavaPairRDD.aggregateByKey(Integer zeroValue, Function2<Integer, Integer, Integer> seqFunc, Function2<Integer, Integer, Integer> combFunc)

画了个大致的aggregateByKey数据加载运算图

说明：aggregateByKey相当于是aggregate和groupByKey函数组合

下面是实验代码：

public static void main(String[] args) {
		SparkConf conf = new SparkConf();
		conf.setMaster("local[2]");
		conf.setAppName("spark-test");
		conf.set("spark.executor.memory", "500m");
		conf.set("spark.driver.memory", "500m");
		JavaSparkContext sp = new JavaSparkContext(conf);
		List<Tuple2<String, Integer>> list = new ArrayList<Tuple2<String, Integer>&g