Hive中join的三种方式

最新推荐文章于 2025-05-16 21:50:50 发布
最新推荐文章于 2025-05-16 21:50:50 发布
阅读量1.5k 收藏 3
点赞数 2
分类专栏： hive sql
本文深入解析了Hive中三种常见的Join操作：commonjoin（shufflejoin）、mapjoin和SMB（Sort-Merge-Bucket）Join。commonjoin适用于大小相当的两个table，但易产生数据倾斜；mapjoin将小表放入内存，提高大表处理效率；SMB Join通过排序、合并和分桶优化性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一.common join

 common join也叫做shuffle join，reduce join操作。适用于两个table的大小相当，但是又不是很大的情况下使用。具体流程就是在map端进行数据的切分，一个block对应一个map操作，然后进行shuffle操作，把对应的block shuffle到reduce端去，再逐个进行联合。

缺点：容易产生数据倾斜，大数据量下性能不好

 

二.map join

mapJoin的主要意思就是，当join的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去去查看小表的数据，哪条与之相符，继而进行连接。这里的join并不会涉及reduce操作。

缺点：小表不能太大，吃内存

 

三.SMB(Sort-Merge-Buket) Join

smb是sort  merge bucket操作，首先进行排序，继而合并，然后放到所对应的bucket中去，bucket是hive中和分区表类似的技术，就是按照key进行hash，相同的hash值都放到相同的buck中去。在进行两个表联合的时候。我们首先进行分桶，在join会大幅度的对性能进行优化。也就是说，在进行联合的时候，是table1中的一小部分和table1中的一小部分进行联合，table联合都是等值连接，相同的key都放到了同一个bucket中去了，那么在联合的时候就会大幅度的减小无关项的扫描。
set hive.auto.convert.sortmerge.join=true

set hive.optimize.bucketmapjoin=true;

set hive.optimize.bucketmapjoin.sortedmerge=true;

在执行任务时，可以通过设置相关参数，手工选择join方式

(08)Hive——Join连接、谓词下推
爱吃辣条的博客
02-13 2889
Hive的Join连接
SQL进阶技巧：Hive中Left Join基于or形式匹配连接的一种优雅实现方式
石榴姐yyds
06-04 4718
Hive中对于模糊匹配关联是不支持的，如or 连接，基于like的模糊匹配连接，对于此类问题往往需要找新的方案，对于or连接网上给出了解决方案如union的实现形式，本文借助于locate()+concat_ws()函数进行优雅的实现。......
Hive中join方法总结--有这一篇就够了
skj1995的博客
02-14 5389
1. 常见的四种join的区别 常见的join主要有下面四种，join,outer join, semi join和inner join，下面对这四个join的关系进行说明 （1.1）join等价于inner join,也就是只会将两表都存在的join在一起 （1.2）outer join分为： left outer join（等价于left join），right outer join（right join）和full outer join（full join） Left join是以左表为基准
Hive的三种Join方式
weixin_30840253的博客
03-26 2052
Hive的三种Join方式 hive Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。 参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins Common/Shuffle/Reduce Join Reduce Join在Hive中也叫Common J...
十一、Hive JOIN 连接查询
最新发布
大数据领域创作新星
05-16 1万+
在 Hive 的世界里，JOIN 就像是数据间的红线，把原本分散在各自表里的信息串联起来。无论是内连接、外连接，还是 Hive 特有的左半连接，都各有“武功招式”，适用于不同场景。
【Hive】Hive的三种Join方式
beautiful_huang的博客
02-03 1665
Hive中的join可分为三种，分别是Map-join、Reduce-join和SMB Join，本文简单介绍这三种join的原理和机制。 1.Map-join MapJoin的主要意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据...
【hive】简单介绍hive的几种join
Mrerlou的博客
08-17 2382
common join 主要是针对数据/业务逻辑的join。Map joinSkew Join是hive 针对特殊数据、场景 进行的优化。则是Sql语句的优化，并且也可以应用上面的优化方案。MAP JION会把小表全部加载到内存中，在map阶段直接拿另外一个表的数据和内存中表数据做匹配，由于在map端是进行了join操作，省去了reduce运行的时间，算是hive中的一种优化。
Hive的三种join
LMR的博客
06-17 8054
Hive中的join可分为三种，分别是Map-join、Reduce-join和SMB Join，本文简单介绍这三种join的原理和机制。 1.Map-join MapJoin的主要意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的...
hive sql + left join 数据缺失
02-29
随着Hive版本的不断更新，部分用户在升级至Hive 3之后遇到了数据处理中的一个常见问题——在执行Left Join操作时出现数据缺失。 #### 二、问题复现 问题发生在如下的SQL语句中： ```sql SELECT a.* FROM ( SELECT ...
hive 中join和Group的优化
01-07
set hive.map.aggr = true; //是否在 Map 端进行聚合，默认为 True ；该设置会消耗更多的内存。 set hive.groupby.mapaggr.checkinterval = 100000000; //在 Map 端进行聚合操作的条目数目 set hive.groupby....
Hive中三种Join连接方式
Swt_BigData的博客
08-28 817
数据源： a表 1 zhangsan 2 santi 3 wangwu 4 lisi b表 1 zhangsan 2 Tian 3 wanglu 4 si   内连接 等值连接，这意味着连接的谓语条件只能使用等号。 HIve只允许在FROM子句中出现一张表，要进行连接操作，必须执...
Hive Join的几种方式
QQ331948781的专栏
03-18 1737
下面实验几种hive中常用到的join操作 首先创建两个文件用于导入表中 hadoop@master:~/17$ cat data1 1,a 2,b 3,c 4,d 5,e 8,u 9,r hadoop@master:~/17$ cat data2 1,aa 2,gg 7,www 19,ee 实验步骤: 1.创建hive表 create table a(id int, na
【Hive】各种join连接用法
hyj
09-02 7332
hive join连接的各种用法
Hive中的join
03-11 1165
join 在使用join写查询的时候有一个原则：应该将条目少的表或者子查询放在join操作符的左边。原因是在join的操做的reduce阶段，位于join操作符左边的表的内容会被加载进入内存，将条目少的表放在左边，可以有效的减少发生OOM错误的几率。
Hive--join
qq_46893497的博客
11-23 962
join分类 [inner] join：内连接，两边都有，结果才有 select empno,ename,a.deptno,b.deptno,b.dname from tb_emp a join tb_dept b on a.deptno = b.deptno; left [outer] join ：左外连接，左表有，结果就有 select empno,ename,a.deptno,b.deptno,b.dname from tb_emp a left join tb_dept b on a.
Hive中join有三种
qq_43528451的博客
05-06 728
Hive中join有三种 1、commonjoin 也称为shuffleJoin 走的是shuffle端的join，适合大表join大表，key的value值如果相等就进行join 2、mapjoin 大小表连接：如果一张表的数据很大，另外一张表很小（<1000行），将数据量小的表放在内存中，在map端做join。（join on） 需要做不等值join操作（a.x<b.y或者a.x like b.y等）hvie中不支持不等值join操作，如果吧不等值写到where里会造成笛卡尔积，数据
Hive基础二（join原理和机制，join的几种类型，数据倾斜简单处理）
login_sonata的博客
07-12 9351
相关链接： Hive基础一（数据库，表，分区表，视图，导入导出数据） Hive基础二（join原理和机制，join的几种类型，数据倾斜简单处理） Hive基础三（查询中常用的语法）一，Hive中join的原理和机制Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。 Hive Common Join 如果不指定Ma
hive 中join类型
qq_41982570的博客
04-09 2115
hive 中join类型
Hive中有几种Join方式
03-18
<think>嗯，我现在需要了解一下Hive中有哪几种Join方式。以前学过SQL里的Join，但Hive是基于Hadoop的，可能有些不同。让我先回忆一下。 首先，Hive处理的是大数据，所以Join的方式可能要考虑数据量和性能。常见的Join类型有内连接、左连接、右连接、全外连接，这些在Hive里应该也是存在的。不过Hive作为数据仓库工具，可能还有一些特定的优化方式，比如Map Join或者Reduce Join？ 对了，Hive的Join实现可能分为几种不同的执行引擎，比如MapReduce或者Tez。不同的引擎可能影响Join的方式。比如Map Join可能是在Map阶段完成，不需要Reduce阶段，适合小表和大表连接的情况。 然后，Hive中有分桶表，可能分桶Join也是一种方式。分桶后相同桶的数据更容易Join，减少数据移动，提高效率。这个是不是叫做Bucket Map Join？ 还有，Hive的Join是否支持倾斜数据优化？比如当某个键的值特别多时，可能用Skew Join来处理数据倾斜的问题，避免某些Reducer负载过重。 另外，Hive文档里提到的Common Join，也就是普通的Reduce Side Join，这种可能需要Shuffle过程，将相同的键发送到同一个Reducer处理。这可能在处理大表和大表连接时使用，但效率可能不高。 那总结起来的话，Hive的Join方式可能有以下几种： 1. Inner Join、Left Join、Right Join、Full Outer Join这些基本的连接类型。 2. 执行方式上的不同，比如Map Join（Broadcast Join）、Reduce Join（Common Join）。 3. 针对分桶表的Bucket Map Join。 4. 处理数据倾斜的Skew Join。 5. 还有可能SMB Join（Sort Merge Bucket Join），需要分桶且排序的情况下使用，这样在Join时可以直接归并，减少计算量。 不过需要确认这些是否都是Hive支持的。比如Map Join是否自动触发，还是需要设置参数，比如hive.auto.convert.join=true。当小表符合条件时会自动转为Map Join，避免Shuffle。 还有，Skew Join可能需要设置hive.optimize.skewjoin=true，这样在遇到倾斜键时会进行特殊处理，比如将倾斜键的数据分到多个Reducer。 那在回答的时候，应该按照Hive中不同的Join分类方式来介绍，包括连接类型和执行优化类型。可能需要分开说明，比如连接类型有内连接、左外连接等，而执行方式或优化策略包括Map Join、Reduce Join、Bucket Join、Skew Join等。 还要注意Hive不同版本可能支持的Join方式不同，比如某些特性在较新的版本中才有。比如SMB Join可能需要表都分桶并且排序，并且桶的数量成倍数关系，这样在Join时可以直接合并，提高效率。 所以最终的分类可能包括： 1. 按连接结果分类： - 内连接（INNER JOIN） - 左外连接（LEFT OUTER JOIN） - 右外连接（RIGHT OUTER JOIN） - 全外连接（FULL OUTER JOIN） - 交叉连接（CROSS JOIN，笛卡尔积） 2. 按执行方式/优化策略分类： - Common Join（Reduce Join）：常规的Shuffle-based Join - Map Join（Broadcast Join）：小表广播到所有Map任务 - Bucket Map Join：利用分桶特性优化 - Sort Merge Bucket (SMB) Join：分桶且排序后的高效Join - Skew Join：处理数据倾斜的优化方式 可能还有其他的，比如Left Semi Join用来替代IN EXISTS子查询，不过这个属于连接类型，而不是执行方式。 需要确保这些分类正确，以及每种方式的适用场景。比如Map Join适用于小表和大表连接，Bucket Map Join需要两个表在连接键上都分桶，并且小表的桶数量是大表的倍数，这样可以直接对应桶进行Join，而不必全量Shuffle。 另外，Hive是否支持其他类型的Join，比如Anti Join（排除匹配项）？可能用LEFT JOIN加上WHERE NULL来实现，但Hive是否有直接的语法？可能不是单独的Join类型，而是通过组合实现。 在回答时，应该明确说明不同分类下的具体Join方式，并简要说明其原理和使用场景。这样用户能清晰了解Hive中的多种Join方式及其适用情况。</think>Hive 支持多种 Join 方式，这些方式既包括标准 SQL 的连接类型，也包含针对大数据场景的优化策略。以下是具体分类和说明： --- ### 一、按连接结果分类 1. **内连接（INNER JOIN）** 返回两个表中匹配的行。 示例： ```sql SELECT * FROM table_a a JOIN table_b b ON a.key = b.key; ``` 2. **左外连接（LEFT OUTER JOIN）** 返回左表所有行，右表无匹配时填充 `NULL`。 示例： ```sql SELECT * FROM table_a a LEFT JOIN table_b b ON a.key = b.key; ``` 3. **右外连接（RIGHT OUTER JOIN）** 返回右表所有行，左表无匹配时填充 `NULL`。 示例： ```sql SELECT * FROM table_a a RIGHT JOIN table_b b ON a.key = b.key; ``` 4. **全外连接（FULL OUTER JOIN）** 返回两表所有行，无匹配部分填充 `NULL`。 示例： ```sql SELECT * FROM table_a a FULL OUTER JOIN table_b b ON a.key = b.key; ``` 5. **交叉连接（CROSS JOIN）** 返回两表的笛卡尔积（慎用，数据量爆炸）。 示例： ```sql SELECT * FROM table_a CROSS JOIN table_b; ``` 6. **左半连接（LEFT SEMI JOIN）** 返回左表中在右表存在匹配的行（类似 `IN` 或 `EXISTS` 子查询）。 示例： ```sql SELECT * FROM table_a a LEFT SEMI JOIN table_b b ON a.key = b.key; ``` --- ### 二、按执行策略分类（优化方式） 1. **Common Join（Reduce Join）** - **原理**：通过 MapReduce 的 Shuffle 阶段将相同键的数据分发到同一 Reducer，完成连接。 - **场景**：默认方式，适合大表间连接。 - **缺点**：Shuffle 可能导致性能瓶颈。 2. **Map Join（Broadcast Join）** - **原理**：将小表广播到所有 Map 任务内存中，直接在 Map 阶段完成连接，避免 Shuffle。 - **场景**：小表（默认 ≤25MB）与大表连接。 - **配置**： ```sql SET hive.auto.convert.join=true; -- 自动转换 SET hive.mapjoin.smalltable.filesize=25000000; -- 调整小表阈值 ``` 3. **Bucket Map Join** - **原理**：若两个表均按连接键分桶且桶数量成倍数，可避免全表 Shuffle，直接按桶匹配。 - **场景**：分桶表间连接，且桶数量匹配。 - **要求**： - 两表均为分桶表。 - 大表的桶数量是小表的整数倍。 - **配置**： ```sql SET hive.optimize.bucketmapjoin=true; ``` 4. **Sort Merge Bucket (SMB) Join** - **原理**：在分桶基础上，每个桶内部按连接键排序，归并时直接顺序读取，无需比较。 - **场景**：分桶且排序的大表间连接，效率极高。 - **要求**： - 两表均分桶且排序。 - 桶数量相等。 - **配置**： ```sql SET hive.optimize.bucketmapjoin.sortedmerge=true; SET hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat; ``` 5. **Skew Join（倾斜连接）** - **原理**：对倾斜键（如 `NULL` 或高频值）单独处理，分散到多个 Reducer。 - **场景**：数据分布严重倾斜时避免长尾任务。 - **配置**： ```sql SET hive.optimize.skewjoin=true; SET hive.skewjoin.key=100000; -- 键出现次数超过此值则视为倾斜 ``` --- ### 三、选择策略建议 1. **小表 + 大表**：优先使用 **Map Join**。 2. **大表 + 大表**： - 若分桶且排序 → **SMB Join**。 - 若仅分桶 → **Bucket Map Join**。 - 否则 → **Common Join**，可尝试 **Skew Join** 优化倾斜。 3. **高频键倾斜**：启用 **Skew Join** 避免性能问题。 通过合理选择 Join 方式，可显著提升 Hive 查询性能，尤其是在处理大规模数据时。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值