146、Spark核心编程进阶之coalesce以及公司部门整合案例

最新推荐文章于 2024-11-22 22:45:04 发布

原创最新推荐文章于 2024-11-22 22:45:04 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

Spark入坑专栏收录该内容

207 篇文章

订阅专栏

coalesce算子，功能是将RDD的partition缩减，减少 ,将一定量的数据，压缩到更少的partition中去

建议的使用场景，配合filter算子使用,使用filter算子过滤掉很多数据以后，比如30%的数据，出现了很多partition中的数据不均匀的情况,此时建议使用coalesce算子，压缩rdd的partition数量,从而让各个partition中的数据都更加的紧凑

公司原先有6个部门,但是呢，不巧，碰到了公司裁员，裁员以后呢，有的部门中的人员就没了,不同的部分人员不均匀,此时呢，做一个部门整合的操作，将不同的部门的员工进行压缩

public class Coalesce {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setAppName("Coalesce")
                .setMaster("local");
        JavaSparkContext sc = new JavaSparkContext(conf);
        List<String> staffList = Arrays.asList("张三", "李四", "王二", "麻子",
                "赵六", "王五", "李大个", "王大妞", "小明", "小倩");
        JavaRDD<String> staffRDD = sc.parallelize(staffList, 6);

        JavaRDD<String> staffRDD2 = staffRDD.mapPartitionsWithIndex(

                new Function2<Integer, Iterator<String>, Iterator<String>>() {

                    @Override
                    public Iterator<String> call(Integer index, Iterator<String> iterator)
                            throws Exception {
                        List<String> list = new ArrayList<String>();

                        while (iterator.hasNext()) {
                            String staff = iterator.next();
                            list.add("部门[" + (index + 1) + "], " + staff);
                        }

                        return list.iterator();
                    }

                }, true);

        for (String staffInfo : staffRDD2.collect()) {
            System.out.println(staffInfo);
        }

        JavaRDD<String> staffRDD3 = staffRDD2.coalesce(3);
        
        JavaRDD<String> staffRDD4 = staffRDD3.mapPartitionsWithIndex(

                new Function2<Integer, Iterator<String>, Iterator<String>>() {
                    @Override
                    public Iterator<String> call(Integer index, Iterator<String> iterator)
                            throws Exception {
                        List<String> list = new ArrayList<String>();

                        while (iterator.hasNext()) {
                            String staff = iterator.next();
                            list.add("部门[" + (index + 1) + "], " + staff);
                        }

                        return list.iterator();
                    }

                }, true);

        for (String staffInfo : staffRDD4.collect()) {
            System.out.println(staffInfo);
        }
    }
}