Hive中的SMB(Sort-Merge-Buket) Join

最新推荐文章于 2025-05-02 08:49:43 发布
原创 最新推荐文章于 2025-05-02 08:49:43 发布
· 2.1k 阅读 · 2 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #hadoop #大数据

本文介绍了一种针对bucketmapjoin的优化方案——SMBJoin。该方案通过设置特定参数并确保满足一系列条件，在map端实现join操作，从而有效减少或避免shuffle的数据量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SMB join （针对bucket mapjoin 的一种优化）
条件
1）set hive.auto.convert.sortmerge.join=true;
set hive.optimize.bucketmapjoin = true;
set hive.optimize.bucketmapjoin.sortedmerge = true;
set hive.auto.convert.sortmerge.join.noconditionaltask=true;
2） 小表的bucket数=大表bucket数
3） Bucket 列 ==Join列 == sort 列
4） 必须是应用在bucket mapjoin 的场景中

smb-join基于sorted-merge的有序bucket可实现在map端完成join操作，可以有限地减少或避免shuffle的数据量。

Hive的ReduceJoin/MapJoin/SMBJoin
someInNeed的博客
03-27 748
Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。 参考链接：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Joins 1.Reduce /Common/Shuffle Join Reduce Join在Hive中也叫Common Join或Shuffle Join 如果两边数据量都很大，它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。 .
【大数据Hive】hive 表设计常用优化策略
congge_study的博客
02-14 8721
hive表常用优化策略
SMB Join（Sort Merge Bucket Join）
feizuiku0116的博客
11-03 3881
一、作用 大表对小表应该使用MapJoin来进行优化，但是如果是大表对大表，如果进行shuffle，那就非常可怕，第一个慢不用说，第二个容易出异常，此时就可以使用SMB Join来提高性能。SMB Join基于bucket-mapjoin的 有序 bucket，可实现在map端完成join操作，可以有效地减少或避免shuffle的数据量。SMB join的条件和Map join类似但又不同。 二、条件 bucket mapjoin SMB join set hive.optimize.buc
Hive 基础（1）：分区、桶、Sort Merge Bucket Join
weixin_33694172的博客
11-24 493
2019独角兽企业重金招聘Python工程师标准>>> ...
【Hive入门】Hive性能调优之Join优化：深入解析MapJoin与Sort-Merge Join策略
最新发布
IT成长日记的博客
05-02 1152
Hive中两种核心Join优化策略：MapJoin（小表驱动大表）和Sort-Merge Join，通过原理分析、配置参数以了解Hive Join性能调优的精髓。通过合理运用MapJoin和Sort-Merge Join策略，可以显著提升Hive查询性能，特别是在大数据量Join场景下。
Hive中的Sort Merge Bucket Join
Jiangzhiqi4551的博客
11-02 1131
最近学习时发现 Hive 中还有一种 SMB Join，即 Sort Merge Bucket Join ，赶紧找资料学习了一波。。 map join 我们知道在 Hive 中当小表 join 大表时可以通过 map join 将小表中的数据读入内存，在 map 端 join 大表，从而省略 reduce 过程，大大加快连接的速度，但是当小表数据量过大内存放不下时就无法使用 map join 了，由此引出了 Sort Merge Bucket Join。 SMB join 要使用 SMB Join，所有的表
Hive优化--SMB join
yyGeek的博客
03-09 1514
Sort MergeBucket Map Join（简称SMB Map Join）基于Bucket Map Join。
hive SMB join 验证实验
筷子的博客
03-12 3527
关于hive的SMB join 有一些成立的前提条件 首先: 两张表是分桶的，在创建表的时候需要指定： CREATETABLE(……) CLUSTERED BY (col_1) SORTED BY (col_1) INTO buckets_Nums BUCKETS 其次：两张表分桶的列必须是JOIN KEY 最后：需要设置一些bucket相关的参数 set hive.auto.conve...
Hive的join方式
ThreeAspects的博客
05-26 4482
在用客户端连接Redis不成功，再解决的过程中又遇到了telnet的问题 1、开启Telnet 控制面板->程序和功能中的“打开或关闭Windows功能”->勾选Telnet服务器和Telnet客户端 2、启动Telnet 右键计算机->管理->服务->双击Telnet->选择自动->确定->右键Telnet->启动 ...
Hive 分桶表 (Bucketed Tables) 『 创建分桶表 | 数据导入』
渐渐的忘记，赶不上明天（读研ing，2024年毕业）
10-26 1994
1. 为什么使用分区表？ 2. 创建分桶表 3. 分桶表的数据导入
【Hive】Hive中的MapJoin，CommonJoin，SMBJoin详细介绍
一个写湿的程序猿
08-04 2876
Hive-窗口函数，详细分析，案例实践 文章目录Hive-窗口函数，详细分析，案例实践窗口函数介绍窗口函数分析案例实践一案例实践二 窗口函数介绍 LEAD(col,n, default_val)：表示往后第n行数据，col是字段，n表示第几行，default_val 如果没有往后第n行则用默认值代替 LAG(col,n,default_val)：表示往前第n行数据，col是字段，n表示第几行，default_val 如果没有往前第n行则用默认值代替 FIRST_VALUE (col,true/false)：
Hive Sort Merge Bucket Map Join(大表关联)
yjgithub的博客
03-27 5440
测试：一个4000万和一个5000多万的表Join，关联键数据倾斜，并且笛卡尔积，效果明显。建立小表create table lxw_test1(id int,name string,date_time string) clustered by(id) sorted by(id) into 10 buckets; 建立大表create table lxw_test2(id int,name s
Hive 基础之：分区、桶、Sort Merge Bucket Join
似水流年
11-22 892
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。 其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个Hadoop/Hive/DW RD 必须掌握的部分，之前也有几篇文章聊到过 MR/Hive 中的 join
Spark调优学习记录（八）语法优化之SMB Join
yuliangwan_jiangyan的博客
04-14 465
应对大表join大表。
hive入门学习：join的三种优化方式
HAHA的专栏
02-19 2万+
hive入门学习：join的三种优化方式               hive在实际的应用过程中，大部份分情况都会涉及到不同的表格的连接，例如在进行两个table的join的时候，利用MR的思想会消耗大量的内存，良妃磁盘的IO，大幅度的影响性能，因为shuffle真的好令人担心啊，总之，就是各种问题都是由他产生的。下面介绍一下涉及hive在join的时候的优化方式。
数仓工具—Hive语法之map join、reduce join、smb join(8)
热门推荐
01-03 6万+
1. map join 对性能优化有特别明显的效果，而且有很多的适用场景，例如大小表关联、不等值连接、处理数据倾斜 2. 关于SMB join主要用来处理大表关联，hive并不检查两个join的表是否已经做好bucket且sorted，需要用户自己去保证join的表，否则可能数据不正确 3. Reduce-side(Common) Join 是我们最常见的join 类型，通过shuffle 来完成数据的分发
数仓建模-用户维表的构建（一）-map join和smb join
dragontwf的专栏
11-12 1494
背景简介 在绝大部分场景中，用户维度都是一个必不可少的维度，而且随着业务发展和积累，相比其他维度，用户维度应该会是一数据量个比较大的维度。 由于历史原因，在我们这，用户维度的数据源来自于几个业务库，每个业务库记录了每个用户不同的信息。比如现在有两个业务A和B分别记录了各自业务系统里获取的用户信息，其中业务A产出的用户信息表userinfoA如下。这里的userid跟注册无关，而跟手机有关，这意...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值