SparkSql Join Types详解

已于 2024-12-23 14:28:20 修改
阅读量397 收藏
点赞数
分类专栏： Spark最佳实战与性能优化 SparkSQL权威指南 文章标签： spark sparksql join jointypes anti semi
于 2024-01-31 11:26:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Android_xue/article/details/135945520
版权
本文详细介绍了Spark SQL中的各种JOIN类型，包括INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL JOIN、CROSS JOIN、SEMI JOIN和ANTI JOIN，并通过案例实战展示了每种JOIN类型的使用，帮助读者理解它们的区别和应用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

我们都知道join是根据某些条件把两行数据关联起来，而且也熟悉常用的一些join type，如inner、left、right等等，但是有些人可能对semi、anti或者一些语法的缩写和全写搞的不是很清楚，这篇博客就用简单明了的案例把这些都讲明白。

Join语法

relation { [ join_type ] JOIN [ LATERAL ] relation [ join_criteria ] | NATURAL join_type JOIN [ LATERAL ] relation }
  1. 参数
  • relation
    指定要进行join两个或多个表、dataset
  • join_type
    指定关联类型

    [ INNER ] | CROSS | LEFT [ OUTER ] | [ LEFT ] SEMI | RIGHT [ OUTER ] | FULL [ OUTER ] | [ LEFT ] ANTI

  • join_criteria
    指定两个表关联的字段，如 on t1.id = t2.id
  1. join types

  • inner join
    in

了解本专栏 订阅专栏 解锁全文 超级会员免费看
第68课：SparkSQL JDBC实战详解学习笔记
slq1023的博客
04-08 6151
第68课：SparkSQL JDBC实战详解学习笔记 本期内容： 1 SparkSQL操作关系型数据库的意义 2 SparkSQL操作关系型数据库实战   一．使用Spark通过JDBC操作数据库 SparkSQL可以通过JDBC从传统关系型数据库中读写数据，读取数据后直接生成的是DataFrame，然后再加上借助于Spark内核的丰富的API来进行各种操作。 不通过SparkSQL
Spark中的JOIN机制
Java/Python大数据随笔
07-16 1751
Apache Spark共提供了五种JOIN机制，其中常用的有三种：Shuffle Hash Join、Broadcast Hash Join及Sort Merge Join，它们都基于Hash Join，只不过需要在Hash Join前后进行Shuffle、Broadcast或Sort实际上，Hash Join算法来自于传统数据库，而Shuffle、Broadcast和Sort是大数据（数据仓库）在分布式场景下两者结合的产物。因此，我们也说大数据（数据仓库）是由传统数据库发展而来的。
大数据技术架构(组件)33——Spark：Spark SQL--Join Type
sysocc的博客
02-12 777
1.5、如果用户没有指定任何Join Hint，那么就根据Join的策略Broadcast Hash Join ---> Shuffle Hash Join --> Sort Merge Join ---> Cartesian Product Join --> Broadcast Nested Loop Join顺序选择Join策略。当然用户也可以手动选择策。1、Shuffle阶段：对两个表参与Join的keys使用相同的分区算法和分区数进行分区，目的就是为了保障相同的key都分配到相同的分区里面。
Spark SQL 测试JoinType中所有join的类型，便于理解
weixin_34005042的博客
05-25 1500
准备 测试数据 trade订单号 卖家 买家 买家城市 1 A 小王 北京 2 B 小李 天津 3 A 小刘 北京 order所属订单号 买家 商品名称 价格 发货时间 1 小王 电视 12 2015-08-01 09:08:31 1 小王 冰箱 24 2015-08-01 09:08:14 2 小李 空调 12 ...
sparksql join方式
05-14 1526
Broadcast Hash Join：适合一张很小的表和一张大表进行JoinShuffle Hash Join：适合一张小表(比上一个大一点)和一张大表进行JoinSort Merge Join：适合两张大表进行JoinCartesian Hash Join: 笛卡尔连接方式，性能很差NestedLoopJoin : 性能很差对应以下几个类，Spark会根据CBO和AQE来决定使用哪种join方式。
[Spark] Spark SQL Join Types with examples
mouliu6141的博客
09-18 303
Spark SQL supports all basic join operations available in traditional SQL, though Spark Core Joins has huge performance issues when not designed with care as it involves data shuffling across the network, in the other hand Spark SQL Joins comes with more
SparkSQL join
weixin_72649242的博客
12-18 1788
SparkSQL join_type
SparkSQL中的DataFrame操作详解
介绍SparkSQL ## 1.1 SparkSQL简介 SparkSQL是Apache Spark生态系统中的一个模块，它提供了一种用于处理结构化数据的高级数据处理接口。SparkSQL主要借鉴了传统关系型数据库的查询语言SQL的表达能力和优化技术，...
SparkSQL知识点总结
默主归沙的博客
06-06 4078
零基础学sparksql
Apache Spark 中支持的七种 Join 类型
qq_32445015的博客
06-07 1406
数据分析中将两个数据集进行 Join 操作是很常见的场景。我在这篇文章中介绍了Spark支持的五种 Join 策略，本文我将给大家介绍一下 ApacheSpark中支持的 Join 类型（Join Type）。 目前 Apache Spark 3.0 版本中，一共支持以下七种 Join 类型： INNER JOIN CROSS JOIN LEFT OUTER JOIN RIGHT OUTER JOIN FULL OUTER JOIN LEFT SEMI JOIN LEFT ANT...
Apache Spark 中支持的七种 Join 类型简介
过往记忆大数据
10-25 7978
数据分析中将两个数据集进行 Join 操作是很常见的场景。我在 这篇 文章中介绍了 Spark 支持的五种 Join 策略，本文我将给大家介绍一下 Apache Spark 中支持的 J...
Spark的join类型和策略
互联网知识分享
08-01 1266
在Spark中进行join操作时，可以通过不同的参数进行配置和调优，以下是一些常用参数的介绍：joinType：指定连接类型，默认为inner。joinHint：指定连接策略的提示，包括"shuffle"和。：设置广播超时时间，默认为5分钟。：设置自动广播的阈值，默认为10MB。：设置洗牌操作的分区数，默认为200。下面是一个完整的Spark代码案例，演示了如何使用不同的join类型和策略：importvalspark =.builder()
HiveSql&SparkSql —— 使用left semi join做in、exists类型子查询优化
qq_41018861的博客
06-07 2802
LEFT SEMI JOIN（左半连接）介绍 SEMI JOIN (即等价于LEFT SEMI JOIN)最主要的使用场景就是解决EXISTS IN。LEFT SEMI JOIN（左半连接）是 IN/EXISTS 子查询的一种更高效的实现。LEFT SEMI JOIN虽然含有LEFT，但其实现效果等价于INNER JOIN，但是JOIN结果只取原左表中的列。 优化实例 实例表准备： CREATE TABLE test.user1( `id` bigint ) ROW FORMAT DELIMITED
Spark Sql Join操作类型
大怀特的博客
11-16 1176
Spark DataFrame支持所有基本SQL Join类型的操作,如INNER,RIGHT OUTER,LEFT ANTI, LEFT SEMI, CROSS, SELF JOIN. Spark SQL Join操作是宽转换操作,结果数据会重组在网络中,因此会有非常大的性能问题,当不仔细设计.
Spark SQL Join类型
sperospera的博客
04-12 1981
Spark SQL join工作是通过使用executors 操作DataFrame的多个分区，具体的过程和性能依赖join type和datasets的特征。join的过程中，包含了shuffle join 和broadcast join； 在两个大的datasets join的过程中，进行了 shuffle join，使左右的dataset的分区数据到达executors。如： ...
Spark 浅谈Spark中的各种join
dinl_vin的博客
02-16 3810
众所周知,Join的种类丰富: 按照**关联形式(**Join type)划分: 有内关联,外关联,左关联,右关联,半关联,逆关联等,由业务逻辑决定的关联形式决定了Spark任务的运行结果; 按照关联机制(Join Mechanisms)划分: 有NLJ(Nested Loop Join) , SMJ(Sort Merge Join)和HJ(Hash Join),由数据内容决定的实现机制,则决定了Spark任务的运行效率; 关联形式 Spark支持的关联形式: 关联形式 Join Type关键字
写一个sql实现以下查询结果_全面解读 Spark SQL 之 Join 原理与实现
weixin_39904587的博客
11-21 166
作者：守护之鲨链接：http://sharkdtu.com/posts/spark-sql-join.html导读：Join作为SQL中一个重要语法特性，几乎所有稍微复杂一点的数据分析场景都离不开Join，如今Spark SQL(Dataset/DataFrame)已经成为Spark应用程序开发的主流，作为开发者，我们有必要了解Join在Spark中是如何组织运行的。SparkSQL总体...
Spark SQL 支持哪些类型的 JOIN ？
Shockang的博客
03-26 2752
前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据技术体系 7 种 JOIN Spark 3.3.0 版本支持 7 种类型的 JOIN。 INNER JOIN FULL OUTER JOIN LEFT OUTER JOIN RIGHT OUTER JOIN LEFT SEMI JOIN LEFT ANTI JOIN CROSS JOIN pyspark 支持 pandas 的merge_asof，
sparksql join原理
最新发布
03-04
### Spark SQL Join 操作的实现机制 在Spark SQL中，Join操作是通过多种策略来优化性能并适应不同规模的数据集。当涉及到两个或更多数据集之间的连接时，Spark会自动选择最合适的算法来进行高效处理。 对于较小的数据集，Broadcast Hash Join (BHJ) 是一种常用的策略。在这种情况下，如果一张表相对较小，则该表会被广播至集群内的每一个工作节点，在这些位置上构建哈希索引并与较大的另一张表进行匹配[^3]。此过程减少了网络传输开销以及磁盘I/O次数，从而提高了查询效率。 而对于较大规模的数据集，默认采用的是Shuffle Hash Join 或者 Sort Merge Join 方法之一： - **Shuffle Hash Join**: 如果两张待关联表格都比较大但是存在一个公共列适合做hash partitioning的话, 那么这两份数据将会按照这个键重新划分(partition)，之后再各自内部完成局部聚合计算最后汇总得到最终结果。 - **Sort Merge Join**: 对于那些已经按相同顺序排序过的两组记录来说，这种方法非常有效率；它先对两边的数据流分别排序后再逐条对比查找相等项加入输出列表里去[^1]。 以下是使用Scala编写的简单例子展示如何显式指定broadcast hint以触发Broadcast Hash Join: ```scala import org.apache.spark.sql.functions.broadcast val smallDF = spark.read.parquet("/path/to/small_table") val largeDF = spark.read.parquet("/path/to/large_table") // 使用 broadcast 提示符强制执行 Broadcast Hash Join val result = largeDF.join(broadcast(smallDF), "key") ``` 为了更好地理解上述概念及其应用场景，下面提供了一个具体的实例说明如何创建DataFrame对象并通过SQL方式进行多表联接操作[^2]: ```scala val spark = SparkSession.builder() .appName("aggregations") .master("local[2]") .getOrCreate() val empDF = spark.read.json("/usr/file/json/emp.json") empDF.createOrReplaceTempView("emp") val deptDF = spark.read.json("/usr/file/json/dept.json") deptDF.createOrReplaceTempView("dept") spark.sql(""" SELECT e.name, d.dept_name FROM emp AS e JOIN dept AS d ON e.dept_id = d.id; """) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunnyRivers

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值