SparkSQL中join和left join的区别？

最新推荐文章于 2024-05-11 16:23:41 发布

原创最新推荐文章于 2024-05-11 16:23:41 发布 · 376 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

join是基于关联条件的数据合并，leftjoin保留左表所有数据，匹配不上则用NULL填充。leftsemijoin类似IN查询，只返回左表列，且在找到第一个匹配项后停止扫描，能优化效率并排除右表重复项。

join是两表关联条件匹配时，该记录才会取进来。

left join是将完整的保留左表数据（第一个RDD），纳入右表能够匹配上的项，匹配不上的项用NULL填充。

left semi join 相当于 IN （KeySet）语句，可以作为left join的优化，其会自动过滤右表重复的项，实现上是以左表为驱动表，其中每一条记录扫描右表匹配表时，当扫描到第一个匹配的项时就会中断扫描返回结果，同时left semi join 只能返回左表的列，因为右表参与关联的列只有关联条件。