/**
分三个分区:
* 分区1:1、2
* 分区2:3、4
* 分区3:5、6、7
*每个分区内部进行相加
*(1+2)+(3+4)+((5+6)+7)
**/
private static void reduce() {
SparkConf conf = new SparkConf().setAppName("hzy").setMaster("local");
JavaSparkContext sparkContext = new JavaSparkContext(conf);
JavaRDD<Integer> rdd1 = sparkContext.parallelize(Arrays.asList(1, 2, 3, 4, 5, 6, 7), 3);
Integer reduce = rdd1.reduce(new Function2<Integer, Integer, Integer>() {
@Override
public Integer call(Integer integer, Integer integer2) throws Exception {
return integer + integer2;
}
});
System.out.println(reduce);
}
Rdd算子之reduce
最新推荐文章于 2024-08-17 12:57:15 发布