spark Java filter算子的使用

最新推荐文章于 2025-03-25 10:15:00 发布

原创最新推荐文章于 2025-03-25 10:15:00 发布 · 1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

spark 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了Apache Spark中Java API的filter算子用法，通过实例代码展示了如何过滤数据，帮助理解Spark数据处理的核心功能。

filter 起到过滤的作用
直接上代码

ArrayList<Integer> list = new ArrayList<Integer>();
        list.add(1);
        list.add(2);
        list.add(3);
        list.add(4);
        list.add(3);


        JavaRDD<Integer> parallelize = sc.parallelize(list);

        JavaRDD<Integer> filter = parallelize.filter(new Function<Integer, Boolean>() {
            @Override
            public Boolean call(Integer integer) throws Exception {
                if (integer == 4) { // 过滤掉等于4的
                    return false;
                }
                return true;
            }
        });

        List<Integer> collect = filter.collect();

        for (Integer integer: collect){
            System.out.println(integer);
        }