Java Spark算子：reduce

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function2;

import java.util.Arrays;
import java.util.List;

/**
 * reduce（function）算子：
 * 每次传入两个参数通过function 的到一个返回值，该返回值继续与后面的参数进行调用function，
 * 直到所有的数据计算完成，最后返回一个计算结果
 *
 */

public class ReduceDemo {

    public static void main(String[] args) {

        SparkConf conf = new SparkConf().setMaster("local").setAppName("spark");
        JavaSparkContext sc  = new JavaSparkContext(conf);
        List<Integer> list = Arrays.asList(1,2,3,4,5,6);
        JavaRDD<Integer> javaRDD = sc.parallelize(list);

        //reduce算子：求和
        int sum1 = javaRDD.reduce(new Function2<Integer, Integer, Integer>() {
            @Override
            public Integer call(Integer integer, Integer integer2) throws Exception {
                return integer + integer2;
            }
        });

        //reduce算子lambda形式：求和
        int sum2 = javaRDD.reduce((integer, integer2) -> integer + integer2);

        System.err.println(sum1);
        System.err.println(sum2);

    }
}