spark Java filter算子的使用

最新推荐文章于 2025-03-25 10:15:00 发布

zahuali

最新推荐文章于 2025-03-25 10:15:00 发布

阅读量1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/zahuali/article/details/106103064

spark 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了Apache Spark中Java API的filter算子用法，通过实例代码展示了如何过滤数据，帮助理解Spark数据处理的核心功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

filter 起到过滤的作用
直接上代码

ArrayList<Integer> list = new ArrayList<Integer>();
        list.add(1);
        list.add(2);
        list.add(3);
        list.add(4);
        list.add(3);


        JavaRDD<Integer> parallelize = sc.parallelize(list);

        JavaRDD<Integer> filter = parallelize.filter(new Function<Integer, Boolean>() {
            @Override
            public Boolean call(Integer integer) throws Exception {
                if (integer == 4) { // 过滤掉等于4的
                    return false;
                }
                return true;
            }
        });

        List<Integer> collect = filter.collect();

        for (Integer integer: collect){
            System.out.println(integer);
        }