Spark 的三种join方式

最新推荐文章于 2025-04-15 17:15:41 发布
原创 最新推荐文章于 2025-04-15 17:15:41 发布 · 944 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Spark中hashjoin、broadcastjoin和shufflejoin的原理，重点讲解了为何选择小表构建hashtable，并讨论了broadcastjoin在维表join中的应用以及shufflejoin和sort-mergejoin在大数据场景的使用。

参考博客：https://www.cnblogs.com/duodushuduokanbao/p/9911256.html

Spark的join实现方案有三种:

  • broadcast hash join
  • shuffle hash join
  • sort-merge join

hash join

确定 小表（Bulid Table) 和 大表（Probe Table）,利用小表 根据 key 进行hash，建立hash table，大表同样对key进行相同的hash，映射hash table中的记录，如果映射成功且join条件符合，则将数据进行关联。

为什么 bulid table 选择小表, probe table 选择大表？ 因为在构建 hash table 时最好能将其全部加载到内存，这样才效率最高，这也说明了为什么 hash join 算法只适合至少有一个小表的场景，对于两个大表的join 场景并不适用，两个大表的 join ,可选用 sort merge join。

hash join主要针对单机，以下两种是对hash join的分布式改造后

Broadcast join

一般用于维表和实时表进行join，可将维表（一般不超过10M）发送至各个节点，使各个节点都存有一份完整的维表数据，接下来相当于单机进行hash join。

SparkSQL 也可以根据内存资源、带宽资源适量将参数 spark.sql.autoBroadcastJoinThreshold（默认是 10M） 调大，让更多 join 实际执行为 broadcast hash join。

shuffle join

当join的两张表数据量都很大时，利用 key相同的数据将会被分到相同分区上 的原理，将两张表按key进行分区，使相同key的记录分到同一个节点上，然后在对每个节点上的数据进行hash join

sort-merge join（没太理解）

和shuffle join一样，将两张大表join key进行重分区，对每个分区的节点进行排序，然后对排好序的表进行join，join的操作：分表遍历两个有序序列，碰到相同的key就merge然后输出

 

 

 

 

spark5种join策略
u011624157的专栏
05-16 1075
因为是否小表走广播是根据spark对元数据的估算得到的，如果join表有很多的filter容易把表估大，造成本可以广播的情况实际没有广播
Spark RDD各种join算子从源码层分析实现方式
z1941563559的博客
11-15 1280
底层共用：所有join操作都使用cogroup进行分组，然后通过对分组后的键值对进行遍历和组合来实现不同的 Join 类型。性能优化cogroup提供了键值对的高效分组机制，减少了 Join 操作中的数据传输量，从而提升了连接操作的性能。这几种 Join 操作的实现逻辑和底层调用可以帮助我们理解 Spark 在大数据处理中如何高效实现连接操作。
Spark支持的Join类型、Join的3种实现
upupfeng的博客
08-15 4214
说一下的Spark Join的分类及基本实现机制
Spark join 的三种实现方式
Autter的博客
08-27 2509
mysql 的 join 是怎么实现的？ 当前 SparkSql 支持三种 join 算法：1、shuffle hash join, 2、broadcast hash join ，3、sort merge join。其中前两者是基于 hash join 的衍生的，只不过是在hash join 之前先进行broadcast 或则 shuffle,然后再进行 hash join，几十年前数据库就有了 hash join 的方法，spark 的这两种 join 只是加上了分布式的场景和思想而已。接下来，我们先说说
Spark SQL join的三种实现方式
m0_61607827的博客
03-16 2894
引言 join是SQL中的常用操作，良好的表结构能够将数据分散到不同的表中，使其符合某种规范(mysql三大范式)，可以最大程度的减少数据冗余，更新容错等，而建立表和表之间关系的最佳方式就是join操作。 对于Spark来说有3种Join的实现，每种Join对应的不同的应用场景(SparkSQL自动决策使用哪种实现范式)： 　　1.Broadcast Hash Join：适合一张很小的表和一张大表进行Join； 　　2.Shuffle Hash Join：适合一张小表(比上一个大一点)和一张大表进行
Spark中的三种Join策略
fengfengzai0101的博客
12-25 1817
介绍 Spark通常使用三种Join策略方式 Broadcast Hash Join（BHJ） Shuffle Hash Join（SHJ） Sort Merge Join（SMJ） Broadcast Hash Join 当小表与大表进行Join操作时，为了避免shuffle操作，将小表的所有数据分发到每个节点与大表进行Join操作，尽管牺牲了空间，但是避免了耗时的Shuffle操作。 ...
spark三种join机制
weixin_59295776的博客
09-27 551
当维度表和事实表进行join操作时，为了避免shuffle，我们可以将大小有限的维度表的全部数据分发到每个节点上，供事实表使用。因为join操作是对两个表中key值相同的记录进行连接，在spark SQL中，对两个表做join最直接的方式是先根据key分区，再在每个分区中把key值相同的记录拿出来做连接操作。当两张表很大时，Spark SQL使用一种新的算法来做Join操作，叫做Sort Merge Join，这种算法并不会加载所有的数据，然后开始Hash Join，而是在Join之前进行数据排序。
【Spark】Spark Join类型及Join实现方式
DataCrafter的博客
12-10 3332
在 Spark 中，常见的 Join 类型包括内连接、外连接（左外、右外、全外）和反连接。主要的 Join 实现方式有广播哈希连接（BHJ）、排序归并连接（SMJ）和哈希连接（SHJ）。
Spark中的JOIN机制
Java/Python大数据随笔
07-16 2001
Apache Spark共提供了五种JOIN机制，其中常用的有三种：Shuffle Hash Join、Broadcast Hash Join及Sort Merge Join，它们都基于Hash Join，只不过需要在Hash Join前后进行Shuffle、Broadcast或Sort实际上，Hash Join算法来自于传统数据库，而Shuffle、Broadcast和Sort是大数据（数据仓库）在分布式场景下两者结合的产物。因此，我们也说大数据（数据仓库）是由传统数据库发展而来的。
SparkSQL的3种Join实现
微信搜：import_bigdata，大数据领域硬核原创作者
07-06 570
引言Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。对...
sparkSQL的三种join（broadcast join、shuffle hash join和sort merge join）以及AE
rong_king_的博客
04-07 8293
每天一个小例子： spark中， 1.left semi join （左半连接）的意思就是， JOIN 子句中右边的表只能在 ON 子句中设置过滤条件，右表中有重复的数据会自动跳过，具体详见：https://blog.youkuaiyun.com/happyrocking/article/details/79885071 2. left anti join 含义：left anti join 是 not in/not exists 子查询的一种更高效的实现，相当于not in或者not exists，left anti
spark join 的三种实现方式
weixin_42874157的博客
03-14 415
https://www.cnblogs.com/duodushuduokanbao/p/9911256.html
Spark——SparkSQL的3种Join实现
lehsyh的专栏
05-24 1126
[转载]：https://www.toutiao.com/i6713491937078280712 引言 Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。 对于Spark来说有3中Join的实现，每种Join对应着不同的应用场景： Broadcast Hash Join ：适合一张较小的表和一张大表进行join Shuffle Hash Join : 适合一张小表和一张大表进行joi
Spark三种常见JOIN方式
linken01的博客
02-25 2121
简述spark join的三种方式。
SparkSQL中的三种Join及其具体实现（broadcast join、shuffle hash join和sort merge join）
热门推荐
wlk_328909605的博客
10-03 1万+
1.小表对大表（broadcast join） 将小表的数据分发到每个节点上，供大表使用。executor存储小表的全部数据，一定程度上牺牲了空间，换取shuffle操作大量的耗时，这在SparkSQL中称作Broadcast Join Broadcast Join的条件有以下几个： *被广播的表需要小于 spark.sql.autoBroadcastJoinThreshold 所配置的值，默认是...
Spark join种类(>3种)及join选择依据
大数据星球-浪尖
05-11 1722
hashjoinjoin是作为业务开发绕不开的SQL话题，无论是传统的数据库join，还是大数据里的join。做过Spark/flink流处理的应该都用过一种流表和维表的join，维表对...
SparkSQL Join深度解析：三种实现方式全揭秘
shengjk1的博客
04-15 1488
本文全面剖析了SparkSQL中Join操作的三种主要实现方式：Broadcast Join、Hash Join（包括Shuffle Hash Join）和Sort Merge Join。详细阐述了每种Join的实现原理、适用场景、优缺点以及实现细节。同时，结合表大小、数据分布和内存资源等因素，给出了Join策略选择的建议，并提出了性能优化措施，包括选择合适的Join策略、使用Join提示、调整配置参数、优化数据分区、合理管理内存以及处理数据倾斜等。
Spark之五种join策略
边看边学
12-31 906
Spark源码中关于join策略的描述 /** * Select the proper physical plan for join based on join strategy hints, the availability of * equi-join keys and the sizes of joining relations. Below are the existing join strategies, * their characteristics and their limitations.
spark 5种join策略
最新发布
05-15
<think>好的，我现在需要回答用户关于Spark中5种Join策略及其使用场景的问题。首先，我得回忆一下Spark的几种Join策略，可能包括Shuffle Hash Join、Broadcast Hash Join、Sort Merge Join、Broadcast Nested Loop Join和Cartesian Product Join？或者可能有其他策略，比如Skew Join？不过Skew Join可能属于优化后的策略，而不是基础策略。 用户提到了5种，所以需要确认正确的五种。根据之前的引用，用户提供的参考里有提到BHJ（Broadcast Hash Join），Skew Join，还有可能Shuffle Hash Join、Sort Merge Join和Broadcast Nested Loop Join。或者可能包括Cartesian Join？或者还有其他的？ 让我仔细想想。根据Spark官方文档，常见的Join策略包括： 1. Broadcast Hash Join (BHJ) 2. Shuffle Hash Join 3. Sort Merge Join (SMJ) 4. Cartesian Product Join 5. Broadcast Nested Loop Join 可能这五种是主要的。此外，Skew Join可能是一种优化手段，而不是基本策略。用户的问题是需要5种策略，所以可能需要列举这五种。 接下来需要详细描述每种策略的原理、适用场景，以及可能的代码示例或配置方式。例如，Broadcast Hash Join适用于小表，当其中一个表足够小可以被广播到所有节点时使用，这样可以避免Shuffle。而Shuffle Hash Join则需要两个表都不太大，因为需要将数据按Join Key进行分区，并在每个分区内构建哈希表。Sort Merge Join通常用于大规模数据，且数据已经排序的情况，这是Spark默认的Join策略，因为适合分布式处理。Cartesian Product Join是笛卡尔积，性能最差，适用于没有Join条件的情况。Broadcast Nested Loop Join可能是在某些特定条件下的选择，比如非等值连接，并且其中一张表很小的情况。 需要确保每个策略的说明准确，并结合用户提供的引用内容。例如，引用[1]提到当小表存在时选择BHJ，引用[2]关于Skew Join处理数据倾斜，但用户的问题可能更关注基础策略，所以可能Skew Join不在五种里。引用[3]中的代码示例可能涉及不同的Join类型，但策略可能不同。 另外，用户可能需要知道如何触发这些策略，例如通过设置参数（如自动广播的阈值）或使用HINT。例如，Spark.sql.autoBroadcastJoinThreshold参数控制BHJ的使用。 现在要组织这些信息，分成五个部分，每个策略的名称、原理、适用场景，可能的使用方式或示例。同时，生成相关问题，例如性能优化、如何选择策略、处理数据倾斜等。 需要检查是否有遗漏的策略，或者是否有更常用的策略名称。例如，Shuffle Hash Join和Sort Merge Join的区别，前者需要哈希表，后者需要排序。在Spark中，默认情况下可能优先使用Sort Merge Join，因为Shuffle Hash Join需要较大的内存，而Sort Merge Join更适合大规模数据。 另外，注意用户可能需要知道每种策略的优缺点，比如BHJ的网络开销小，但要求表足够小；Sort Merge Join的扩展性好，但需要排序可能带来额外开销。 总结下来，五个策略应该是： 1. Broadcast Hash Join (BHJ) 2. Shuffle Hash Join (SHJ) 3. Sort Merge Join (SMJ) 4. Cartesian Product Join 5. Broadcast Nested Loop Join (BNLJ) 或者可能还有其他？比如，在Spark 3.0之后有没有新增的策略？比如可能引入的Shuffle Sort Merge Join或者其他的？不过用户可能期望的是基础的五种，所以先按这五种来写。 在适用场景中，BHJ适用于小表，SHJ适用于中等大小的表，SMJ适用于大表，Cartesian用于无条件Join，BNLJ可能用于非等值连接且其中一表小的情况。 现在需要详细展开每个部分，确保正确性，并引用相关参考。例如，引用[1]提到当小表存在时选择BHJ，这适用于BHJ的场景。引用[2]中的Skew Join可能是在处理数据倾斜时对SMJ的优化，但可能不算作基础策略。 最后生成相关问题，例如如何选择策略，优化Join性能，处理数据倾斜等。</think>### Spark 5种 Join 策略详解及适用场景 在Spark中，Join策略的选择直接影响计算性能和资源利用率。以下是Spark支持的5种核心Join策略及其适用场景： --- #### 1. **Broadcast Hash Join (BHJ)** - **原理**：将小表广播到所有Executor节点，在每个节点上与大表的分区数据进行哈希匹配。 数学表达式：假设小表大小为$S$，广播后每个节点执行哈希查找的时间复杂度为$O(S)$。 - **适用场景**： - 其中一个表的数据量**小于** `spark.sql.autoBroadcastJoinThreshold`（默认10MB）[^1]。 - **等值Join**且无需全局Shuffle。 - **触发方式**： ```sql -- 使用HINT强制广播 SELECT /*+ BROADCAST(small_table) */ * FROM large_table JOIN small_table ON ... ``` --- #### 2. **Shuffle Hash Join (SHJ)** - **原理**：对两个表按Join Key进行Shuffle分区，在每个分区内构建哈希表进行匹配。 公式化：若两表分别分$N$个区，每个分区的哈希表构建时间为$O(K/N)$，$K$为表大小。 - **适用场景**： - 两表**均较大**但单分区数据可放入内存。 - 等值Join且无数据倾斜。 - **限制**：需手动开启（默认关闭，因内存压力大）： ```sql SET spark.sql.join.preferSortMergeJoin=false; ``` --- #### 3. **Sort Merge Join (SMJ)** - **原理**：通过Shuffle将数据按Key排序后，在有序数据集上进行归并查找。 时间复杂度：$O(N \log N)$（排序） + $O(N)$（归并）。 - **适用场景**： - **大规模数据集**的等值Join（Spark默认策略）[^3]。 - 数据已按Join Key预排序时效率更高。 - **优化**：应对数据倾斜可使用`Skew Join`（拆分倾斜Key为多个子任务）[^2]。 --- #### 4. **Broadcast Nested Loop Join (BNLJ)** - **原理**：广播小表，对大表逐行扫描进行笛卡尔积匹配（支持非等值条件）。 性能公式：$O(S \times L)$，$S$为小表大小，$L$为大表行数。 - **适用场景**： - **非等值Join**（如`a.col1 > b.col2`）。 - 小表可广播且大表规模可控。 - **缺点**：计算复杂度高，需谨慎使用。 --- #### 5. **Cartesian Product Join** - **原理**：直接计算两表的笛卡尔积，无任何优化。 公式：结果集大小为$M \times N$（$M$和$N$为两表行数）。 - **适用场景**： - **无Join条件**的跨表关联。 - 测试或极小数据集场景。 - **触发条件**：显式使用`CROSS JOIN`语法。 --- ### 策略选择流程图 ```plaintext 是否等值Join? ├─ 是 → 能否广播小表? → BHJ ├─ 否 → BNLJ或Cartesian ├─ 中等规模 → SHJ └─ 大规模 → SMJ（默认） ``` ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值