Spark RDD算子(十) PairRDD的Action操作 countByKey、collectAsMap

本文链接：https://blog.youkuaiyun.com/timicai/article/details/109612251

本文详细介绍了Spark中RDD的两种常用操作：countByKey用于统计各键的数量，collectAsMap用于收集键值对并转换为Map。通过具体示例展示了Scala与Java版本的实现方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、countByKey

以RDD{(1, 2),(2,4),(2,5), (3, 4),(3,5), (3, 6)}为例 rdd.countByKey会返回{(1,1),(2,2),(3,3)}即1个以1为key，2个以2为key，3个以3为key

scala版本

val rdd = sc.makeRDD(List((1,2),(2,4),(2,5),(3,4),(3,5),(3,6)))
rdd.countByKey.foreach(println)  //(1,1) (2,2) (3,3)

java版本

JavaRDD<Tuple2<Integer,Integer>> rdd
   =sc.parallelize(Arrays.asList(new Tuple2<>(1,2),new Tuple2<>(2,4),new Tuple2<>(2,5),
        new Tuple2<>(3,4),new Tuple2<>(3,5),new Tuple2<>(3,6)));
JavaPairRDD<Integer, Integer> pairRDD = JavaPairRDD.fromJavaRDD(rdd);
Map<Integer, Long> map = pairRDD.countByKey();
Set<Integer> keys = map.keySet();
for (Integer i : keys) {
    System.out.println(i+","+map.get(i));
}

二、collectAsMap

将pair类型(键值对类型)的RDD转换成map
注：同一个key，value的值会覆盖

scala版本

val rdd = sc.makeRDD(List((1,2),(2,4),(2,5),(3,4),(3,5),(3,6)))
rdd.collectAsMap.foreach(println)  //(1,2)  (2,5)  (3,6)

java版本

JavaRDD<Tuple2<Integer,Integer>> rdd
   =sc.parallelize(Arrays.asList(new Tuple2<>(1,2),new Tuple2<>(2,4),new Tuple2<>(2,5),
        new Tuple2<>(3,4),new Tuple2<>(3,5),new Tuple2<>(3,6)));
JavaPairRDD<Integer, Integer> pairRdd = JavaPairRDD.fromJavaRDD(rdd);
Map<Integer, Integer> map = pairRdd.collectAsMap();
Set<Integer> keys = map.keySet();
for (Integer key :keys) {
    System.out.println(key+","+map.get(key));
}