spark RDD算子（三）distinct、union、intersection、subtract、cartesian

最新推荐文章于 2025-04-12 14:16:25 发布

jalrs

最新推荐文章于 2025-04-12 14:16:25 发布

阅读量642

点赞数

文章标签： spark scala 算子

本文链接：https://blog.youkuaiyun.com/qq_40333693/article/details/109618622

版权

本文探讨了Spark中RDD的集合操作，包括distinct用于去除重复元素，union实现两个RDD的合并，intersection计算交集并去重，subtract获取RDD1中不包含在RDD2的元素，以及cartesian生成笛卡尔积，同时提到了这些操作的性能开销。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark伪集合
尽管RDD本身不是严格意义上的集合，但它也支持许多数学上的集合操作，比如合并和相交操作
distinct
distinct用于去重，我们生成的RDD可能有重复元素，使用distinct方法可以去掉重读的元素，不过此方法涉及到混洗，操作开销很大
scala版本：

val RDD = sc.parallelize(List("aa", "aa", "bb", "cc", "dd"))
val distinctRDD = RDD.collect()
distinctRDD.foreach(println)

在这里插入图片描述

java版本

List<String> strings = Arrays.asList("aa", "aa", "bb", "cc", "dd");
        JavaRDD<String> strRDD = sc.parallelize(strings);
        JavaRDD<String> distinctRDD = strRDD.distinct();
        List<String> collect = distinctRDD.collect();
        for (String s : collect) {
            System.out.println(s);
        }

在这里插入图片描述

union
两个RDD进行合并
scala版本

   val RDD1 = sc.parallelize(List("aa", "aa", "bb", "cc", "dd"))
    val RDD2 = sc.parallelize(List("aa","dd","ff"))
    RDD1.union(RDD2).collect().foreach(println)

在这里插入图片描述

java版本

JavaRDD<String> RDD1 = sc.parallelize(Arrays.asList("aa", "aa","bb", "cc", "dd"));
        JavaRDD<String> RDD2 = sc.parallelize(Arrays.asList("aa", "dd", "ff"));
        JavaRDD<String> unionRDD = RDD1.union(RDD2);
        List<String> collect = unionRDD.collect();
        for (String s : collect) {
            System.out.println(s);
        }

在这里插入图片描述

intersection
返回两个RDD的交集，并且去重
intersection需要混洗数据，比较浪费性能
scala版本

val RDD1 = sc.parallelize(List("aa", "aa", "bb", "cc", "dd"))
val RDD2 = sc.parallelize(List("aa","dd","ff"))
RDD1.intersection(RDD2).collect().foreach(println)

在这里插入图片描述

java版本

JavaRDD<String> RDD1 = sc.parallelize(Arrays.asList("aa", "aa","bb", "cc", "dd"));
        JavaRDD<String> RDD2 = sc.parallelize(Arrays.asList("aa", "dd", "ff"));
        JavaRDD<String> intersectionRDD = RDD1.intersection(RDD2);
        List<String> collect = intersectionRDD.collect();
        for (String s : collect) {
            System.out.println(s);
        }

在这里插入图片描述

subtract
scala版本
RDD1.subtract(RDD2),返回在RDD1中出现，不在RDD2中出现的元素，不去重

 val RDD1 = sc.parallelize(List("aa", "aa", "bb","bb", "cc", "dd"))
 val RDD2 = sc.parallelize(List("aa","dd","ff"))
 val subtractRDD = RDD1.subtract(RDD2)
 subtractRDD.collect().foreach(println)

在这里插入图片描述

java版本

JavaRDD<String> RDD1 = sc.parallelize(Arrays.asList("aa", "aa","bb","bb", "cc", "dd"));
        JavaRDD<String> RDD2 = sc.parallelize(Arrays.asList("aa", "dd", "ff"));
        JavaRDD<String> subtractRDD = RDD1.subtract(RDD2);
        List<String> collect = subtractRDD.collect();
        for (String s : collect) {
            System.out.println(s);
        }

在这里插入图片描述

cartesian
RDD1.cartesian(RDD2)，返回RDD1和RDD2的笛卡尔积，这个开销非常大
scala版本

val RDD1 = sc.parallelize(List("1", "2", "3"))
val RDD2 = sc.parallelize(List("a", "b", "c"))
RDD1.cartesian(RDD2).foreach(println)

在这里插入图片描述

java版本

JavaRDD<String> RDD1 = sc.parallelize(Arrays.asList("1", "2", "3"));
        JavaRDD<String> RDD2 = sc.parallelize(Arrays.asList("a", "b", "c"));
        JavaPairRDD<String, String> cartesianRDD = RDD1.cartesian(RDD2);
        List<Tuple2<String, String>> collect = cartesianRDD.collect();
        for (Tuple2<String, String> tp2 : collect) {
            System.out.println(tp2);
        }