Spark函数之join、leftOuterJoin、rightOuterJoin和fullOuterJoin

最新推荐文章于 2023-08-01 07:51:21 发布

转载最新推荐文章于 2023-08-01 07:51:21 发布 · 2.9k 阅读

语言相关专栏收录该内容

91 篇文章

订阅专栏

本文通过两个具体的Pair RDD示例，详细介绍了Spark中不同类型的Join操作（如leftOuterJoin、rightOuterJoin及fullOuterJoin）的使用方法及其返回结果的特点。这些Join操作对于处理大规模数据集时的数据整合至关重要。

join用于内连接。

后三个函数用于类似于SQL的左、右、全连接。

针对key-value形式的RDD。

val pairRDD1 = sc.parallelize(List( ("cat",2), ("cat", 5), ("book", 4),("cat", 12)))
val pairRDD2 = sc.parallelize(List( ("cat",2), ("cup", 5), ("mouse", 4),("cat", 12)))
pairRDD1.leftOuterJoin(pairRDD2).collect
pairRDD1.rightOuterJoin(pairRDD2).collect
pairRDD1.fullOuterJoin(pairRDD2).collect

pairRDD1:

("cat",2), 
("cat", 5),
("book", 4),
("cat", 12)

pairRDD2:

("cat",2), 
("cup", 5), 
("mouse", 4),
("cat", 12)

leftOuterJoin结果： 

(cat,(2,Some(2))), 
(cat,(2,Some(12))), 
(cat,(5,Some(2))), 
(cat,(5,Some(12))), 
(cat,(12,Some(2))),
(cat,(12,Some(12))), 
(book,(4,None))

rightOuterJoin结果：

(cup,(None,5)), 
(cat,(Some(2),2)), 
(cat,(Some(2),12)), 
(cat,(Some(5),2)), 
(cat,(Some(5),12)), 
(cat,(Some(12),2)), 
(cat,(Some(12),12)), 
(mouse,(None,4))

fullOuterJoin结果：

(cup,(None,Some(5))), 
(cat,(Some(2),Some(2))), 
(cat,(Some(2),Some(12))), 
(cat,(Some(5),Some(2))), 
(cat,(Some(5),Some(12))), 
(cat,(Some(12),Some(2))), 
(cat,(Some(12),Some(12))), 
(book,(Some(4),None)), 
(mouse,(None,Some(4)))