详解 inner join with another 'dataframe' df1.join(df2, $"df1Key" === $"df2Key")

最新推荐文章于 2025-05-25 12:17:00 发布

卢子墨

最新推荐文章于 2025-05-25 12:17:00 发布

阅读量710

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark原理、实战、总结

本文链接：https://blog.youkuaiyun.com/lukabruce/article/details/86132044

Spark原理、实战、总结专栏收录该内容

56 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文深入探讨了在Spark SQL中如何使用`inner join`将两个DataFrame `df1` 和 `df2` 结合在一起，基于它们共有的键`df1Key`和`df2Key`相等的条件。通过这种方式，可以合并具有匹配键的行，创建一个包含两个DataFrame相关信息的新数据集。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ex：

df.join(ds,df("name")===ds("name") and df("age")===ds("age"),"outer").show();


其中：
 (1)“ds”是关联的dataframe;

 (2)"df("name")===ds("name") and df("age")===ds("age")"是关联的条件;

 (3)"outer"是关联的类型：inner, outer, left_outer,right_outer, leftsemi