Spark RDD算子(八) subtractByKey、 join、rightOuterJoin、leftOuterJoin

最新推荐文章于 2021-07-18 18:10:33 发布

习惯de味道

最新推荐文章于 2021-07-18 18:10:33 发布

阅读量523

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/timicai/article/details/109611781

spark 专栏收录该内容

23 篇文章

订阅专栏

本文介绍了Spark中四个重要的RDD算子：subtractByKey用于删除相同键的元素；join实现键匹配的数据连接；rightOuterJoin提供右外连接功能，缺失时用None填充；leftOuterJoin则提供了左外连接，确保左侧数据全面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、subtractByKey

类似于subtract，删掉 rdd 中键与 rdd2 中的键相同的元素

二、 join

可以把rdd，rdd2中的相同的key给连接起来，类似于sql中的join操作

三、rightOuterJoin

对两个 rdd 进行连接操作，类似于sql中的右外连接，存在的话，value用的Some, 不存在用的None,具体的看上面的图和下面的代码即可

四、leftOuterJoin

对两个 rdd 进行连接操作，类似于sql中的左外连接

scala版本

def main(args: Array[String]): Unit = {
  val conf=new SparkConf().setMaster("local[2]").setAppName("groupby")
  val sc=new SparkContext(conf)

  val rdd=sc.makeRDD(List((1,0),(2,4),(2,1)))
  val rdd2=sc.makeRDD(List((2,0)))

  //subtractByKey   输出： (1,0)
  rdd.subtractByKey(rdd2).collect.foreach(println)

  //join  输出：(2,(4,0)) (2,(1,0))
  rdd.join(rdd2).collect.foreach(println)

  //leftOuterJoin  输出：(2,(4,Some(0))),(2,(1,Some(0))),(1,(0,None))
  rdd.leftOuterJoin(rdd2).collect.foreach(println)

  //rightOuterJoin   输出：(2,(Some(4),0)),(2,(Some(1),0))
  rdd.rightOuterJoin(rdd2).collect.foreach(println)

在这里插入图片描述

java版本

SparkConf conf=new SparkConf().setMaster("local[2]").setAppName("groupbyjava");
JavaSparkContext sc=new JavaSparkContext(conf);


JavaRDD<Tuple2<Integer,Integer>> rdd
        =sc.parallelize(Arrays.asList(new Tuple2(1,0),
new Tuple2(2,4),new Tuple2(2,1)));
JavaRDD<Tuple2<Integer,Integer>> rdd2
        =sc.parallelize(Arrays.asList(new Tuple2(2,0)));
//转换javaPairRdd
JavaPairRDD<Integer, Integer> pairRdd1 = JavaPairRDD.fromJavaRDD(rdd);
JavaPairRDD<Integer, Integer> pairRdd2 = JavaPairRDD.fromJavaRDD(rdd2);

System.out.println("-------substractByKey--------");
JavaPairRDD<Integer, Integer> substractByKeyRdd = pairRdd1.subtractByKey(pairRdd2);
Map<Integer, Integer> map1 = substractByKeyRdd.collectAsMap();
Set<Integer> keys1 = map1.keySet();
for (Integer key : keys1) {
    System.out.println(key+","+map1.get(key));
}

System.out.println("-------join--------");
JavaPairRDD<Integer, Tuple2<Integer, Integer>> joinRdd = pairRdd1.join(pairRdd2);
Map<Integer, Tuple2<Integer, Integer>> map2 = joinRdd.collectAsMap();
Set<Integer> keys2 = map2.keySet();
for (Integer key:keys2) {
    System.out.println(key+","+map2.get(key));
}

System.out.println("-------leftOuterJoin--------");
JavaPairRDD<Integer, Tuple2<Integer, Optional<Integer>>> leftJoinRdd = pairRdd1.leftOuterJoin(pairRdd2);
Map<Integer, Tuple2<Integer, Optional<Integer>>> map3 = leftJoinRdd.collectAsMap();
Set<Integer> keys3 = map3.keySet();
for (Integer key : keys3) {
    System.out.println(key+","+map3.get(key));
}

System.out.println("-------rightOutJoin--------");
JavaPairRDD<Integer, Tuple2<Optional<Integer>, Integer>> rightJoinRdd = pairRdd1.rightOuterJoin(pairRdd2);
Map<Integer, Tuple2<Optional<Integer>, Integer>> map4 = rightJoinRdd.collectAsMap();
Set<Integer> keys4 = map4.keySet();
for (Integer key : keys4) {
    System.out.println(key+","+map4.get(key));
}