Java Spark算子：reduceByKey_spark reducebykey分布计算-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_44576373/article/details/104511946

本文深入探讨了Apache Spark中ReduceByKey算子的使用方法及其内部工作原理。通过具体示例，展示了如何利用ReduceByKey对RDD中的数据进行聚合操作，特别关注于求和功能，并比较了传统函数和Lambda表达式的实现方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;
import scala.Tuple2;

import java.util.Arrays;
import java.util.List;


/**
 * groupByKey(function,[numPartitions]) 算子：
 * 将RDD中的算子按照key对value进行聚合操作，然后对value进行function计算。
 * 输出格式为(key,value)
 *
 * 参数numPartitions是分区数，可以不设置，那就与原来分区相同。
 * spark先对每一个分区的元素计算，最后在进行分区间的汇总计算。
 *
 * 下面的代码输出为：[(dd,3), (tt,3), (ty,4)]
 */

public class ReduceByKeyDemo {

    public static void main(String[] args) {

        SparkConf conf = new SparkConf().setMaster("local").setAppName("spark");
        JavaSparkContext sc  = new JavaSparkContext(conf);
        List<Tuple2<String,Integer>> list = Arrays.asList(
                new Tuple2<>("ty",1),
                new Tuple2<>("dd",1),
                new Tuple2<>("tt",2),
                new Tuple2<>("dd",2),
                new Tuple2<>("tt",1),
                new Tuple2<>("ty",3)
        );
        JavaPairRDD<String,Integer> javaPairRDD = sc.parallelizePairs(list);

        //reduceByKey算子，求同一个key下面的value之和
        JavaPairRDD<String,Integer> javaPairRDD1 = javaPairRDD.reduceByKey(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer integer, Integer integer2) throws Exception {
                return integer + integer2;
            }
        });
        System.err.println(javaPairRDD1.collect());

        //reduceByKey算子的lambda形式，求同一个key下面的value之和
        JavaPairRDD<String,Integer> javaPairRDD2 = javaPairRDD.reduceByKey(((integer, integer2) -> integer + integer2));
        System.err.println(javaPairRDD2.collect());
    }

}