hive中的桶表,以及高效的join方式

本文介绍了Hive中的桶(SMB)策略,一种用于优化大表间Join操作的方法。通过将大表分解为小表并在Map阶段进行Join,显著提高了查询效率。文章详细解释了桶的创建过程及桶Join的工作原理。

hive中的join策略 大概可以分为三种

这里写图片描述

前面2种的话都是经常会用到,说下第三种 桶 join

桶(SMB)

物理上,每个桶就是表(或分区)目录里的一个文件。
smb的设计是为了解决大表和大表之间的join的。简单的说下她的思想:大表化成小表,map side join 解决。经典的分而治之的思想。

对一个表或者一个分区,可以将其划分为更细的数据块,桶。在hive中,分桶的方式采取的是:对列的值进行hash除以桶的数量取余 ;

为什么要对数据进行分桶:

  • 桶给表加上了额外的结构,在进行某些查询的时候可以利用这个结构进行高效的查询;例如: 对于两个数据表,某两列都做了桶划分,可以使用map端的join高效的完成join(桶和桶之间的join,大大减少了join的次数)。
  • 对于数据取样更加高效

创建桶划分的表

CREATE TABLE bucketed_user (id INT) name STRING) 
CLUSTERED BY (id) INTO 4 BUCKETS; 

用CLUSTERED BY (id) INTO 4 BUCKETS 分别指定需要进行分桶的列和需要分桶的数量;

在这里,我们使用用户ID来确定如何划分桶(Hive使用对值进行哈希并将结果除 以桶的个数取余数。这样,任何一桶里都会有一个随机的用户集合(PS:其实也能说是随机,不是吗?)。
对于map端连接的情况,两个表以相同方式划分桶。处理左边表内某个桶的 mapper知道右边表内相匹配的行在对应的桶内。因此,mapper只需要获取那个桶 (这只是右边表内存储数据的一小部分)即可进行连接。这一优化方法并不一定要求 两个表必须桶的个数相同,两个表的桶个数是倍数关系也可以。

桶中的数据可以根据一个或多个列另外进行排序。由于这样对每个桶的连接变成了高效的归并排序(merge-sort), 因此可以进一步提升map端连接的效率。以下语法声明一个表使其使用排序桶:

CREATE TABLE bucketed_users (id INT, name STRING) 
CLUSTERED BY (id) SORTED BY (id ASC) INTO 4 BUCKETS;

使用tips:
两个表join的时候,小表不足以放到内存中,但是又想用map side join这个时候就要用到bucket Map join。其方法是两个join表在join key上都做hash bucket,并且把你打算复制的那个(相对)小表的bucket数设置为大表的倍数。这样数据就会按照join key做hash bucket。小表依然复制到所有节点,Map join的时候,小表的每一组bucket加载成hashtable,与对应的一个大表bucket做局部join,这样每次只需要加载部分hashtable就可以了。

ps:map side join其实也是有局限性的。他要求从表的数据量较小;从表:left join的右表,right join 的左表。

bucket map join
set Hive.optimize.bucketMapjoin = true;
select /*+Mapjoin(a) */count(*)
from Map_join_test a
join Map_join_test b on a.id = b.id;

我们如何保证表中的数据都划分成桶了呢?把在Hive外生成的数据加载到划分成 桶的表中,当然是可以的。其实让Hive来划分桶更容易。

对于已存在的表

Hive并不检查数据文件中的桶是否和表定义中的桶一致(无论是对于桶 的数量或用于划分桶的列)。如果两者不匹配,在査询时可能会碰到错 误或未定义的结果。因此,建议让Hive来进行划分桶的操作。
相关的操作:
要向分桶表中填充成员,需要将 hive.enforce.bucketing 属性设置为 true。①这 样,Hive 就知道用表定义中声明的数量来创建桶。然后使用 INSERT 命令即可。需要注意的是: clustered by和sorted by不会影响数据的导入,这意味着,用户必须自己负责数据如何如何导入,包括数据的分桶和排序。
‘set hive.enforce.bucketing = true’ 可以自动控制上一轮reduce的数量从而适配bucket的个数,当然,用户也可以自主设置mapred.reduce.tasks去适配bucket个数,推荐使用’set hive.enforce.bucketing = true’

取样
SELECT * FROM users 
TABLESAMPLE(BUCKET 1 OUT OF 4 ON rand()); 

一个完整的例子:

创建表

1   create table student(id INT, age INT, name STRING)
2   partitioned by(stat_date STRING)
3   clustered by(id) sorted by(age) into 2 buckets
4   row format delimited fields terminated by ',';
5    
6   create table student1(id INT, age INT, name STRING)
7   partitioned by(stat_date STRING)
8   clustered by(id) sorted by(age) into 2 buckets
9   row format delimited fields terminated by ',';
设置参数
set hive.enforce.bucketing = true;  
插入数据
insert overwrite table student1 partition(stat_date="20120802")
select id,age,name where stat_date="20120802" sort by age;

疑问: 插入的数据没有按照age 排序,在桶表中会怎么表现,还是高效的merge-sort模型吗?
用load data的方式增加进去的方式,不会按照建表的时候制定的排序字段进行排序,如果是insert 的方式进行数据的插入,是会按照建表的时候制定的字段进行排序的。
注意
ps:想要使用两张桶表进行join的时候,两个表进行交叉的字段必须是唯一的,不满足这个条件join出来的结果是错的。

抽样
hive> select * from student1 tablesample(bucket 1 out of 2 on id);

Total MapReduce jobs = 1
Launching Job 1 out of 1
.......
OK
4       18      mac     20120802
2       21      ljz     20120802
6       23      symbian 20120802
Time taken: 20.608 seconds

注:tablesample是抽样语句,语法:TABLESAMPLE(BUCKET x OUT OF y)
y必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。例如,table总共分了64份,当y=32时,抽取(64/32=)2个bucket的数据,当y=128时,抽取(64/128=)1/2个bucket的数据。x表示从哪个bucket开始抽取。例如,table总bucket数为32,tablesample(bucket 3 out of 16),表示总共抽取(32/16=)2个bucket的数据,分别为第3个bucket和第(3+16=)19个bucket的数据。

join操作的执行原理

这里写图片描述

<think>嗯,用户现在问的是Hive中分Join为什么能减少数据倾斜。首先,我需要回忆一下Hive的分机制是什么,以及数据倾斜通常是如何产生的。分应该和数据的分布有关,而数据倾斜通常是因为某些键的值特别多,导致处理这些键的任务负载过重。 用户可能已经了解Hive的基础知识,比如分区和分的区别。分是将数据按照哈希值分成多个文件,而分区是按目录划分。分Join应该是在两个都按照相同的键分的情况下进行的,这样在Join时,相同键的数据会被分配到同一个里,这样可能减少Shuffle的数据量,从而减少倾斜。 不过用户的问题重点是为什么分能减少数据倾斜。数据倾斜通常发生在某些键的数据量远大于其他键,导致处理这些键的节点负载过重。分如果均匀分布的话,每个里的数据量应该比较接近。但如何确保分后的数据均匀呢?可能分的键选择合适的话,哈希函数会把数据均匀分布到各个里,这样即使某个键有很多数据,也会被分散到不同的中,从而减少单个节点的压力。 另外,分Join可能在执行时,每个可以直接进行Map端Join,而不需要经过Reduce阶段,这样减少了Shuffle过程,避免了在Shuffle阶段因为某些键数据量大导致的倾斜。比如如果两个都按用户ID分,且的数量相同,那么Join时每个可以独立处理,相同用户ID的数据已经在同一个里,不需要跨节点传输,这样处理更均匀。 不过我需要确认分Join的具体机制。比如,分在创建时需要CLUSTERED BY键,并且指定的数量。当两个的分键相同,并且的数量成倍数关系时,Hive可以优化Join操作。这可能涉及到的对应,比如小的每个可以和大的对应进行Join,而无需全扫描,从而减少数据传输。 但为什么这样能减少数据倾斜呢?可能是因为数据被预先分,每个的数据量比较均匀,这样在处理每个的时候,任务负载相对均衡。即使某个键的数据很多,由于分时被分散到多个中,每个处理的数据量不会太大,从而避免单个任务处理过多数据导致的倾斜。 此外,分可能结合了Map端Join,如在Map阶段直接进行Join,避免了Shuffle阶段的Partitioning,而Shuffle阶段常常是数据倾斜发生的地方。如果数据在分时已经均匀分布,那么Join时的各个任务处理的数据量相近,自然减少了倾斜的可能性。 不过,如果分的键本身分布不均匀,比如某个键的值特别多,那么分可能并不能解决倾斜问题,反而可能加剧。因此,分键的选择非常重要,需要选择高基数的列,并且分布均匀的键。例如,用户ID可能是一个好的分键,如果它们分布均匀的话。 总结来说,分Join通过预先将数据按照Join键的哈希值分配到固定数量的中,确保相同键的数据落在同一个里,这样在Join时,每个可以独立处理,减少了Shuffle的数据量,并且由于数据分布更均匀,避免了单个节点处理大量数据的情况,从而减少数据倾斜。 还需要考虑分的数量是否合理,如果的数量太少,可能每个的数据量还是很大,无法有效避免倾斜。因此,合理设置的数量也是关键。另外,Hive的分Join是否自动处理数据倾斜,或者需要用户手动优化,这也是需要明确的点。 最后,可能需要举例说明,比如两个大按用户ID分,当进行Join时,每个的数据独立处理,避免了将所有相同用户ID的数据集中到一个Reducer,从而减少倾斜。同时,分还可能启用更高效Join算法,如Sort-Merge Bucket Join,进一步提高效率并减少倾斜的可能性。</think>在Hive中,**分(Bucketing)** 是一种数据组织方式,而**分Join(Bucket Join)** 通过预分区和哈希分布机制,能够有效减少数据倾斜。以下是分Join减少数据倾斜的核心原理和实现细节: --- ### **1. 分机制的本质** - **分定义**:将数据按指定列的哈希值分配到固定数量的(文件)中。 - 语法示例: ```sql CREATE TABLE user_bucketed ( id INT, name STRING ) CLUSTERED BY (id) INTO 4 BUCKETS; ``` - 数据写入时,Hive根据`CLUSTERED BY`列的哈希值(如`hash(id) % 4`)决定数据落入哪个。 - **关键特性**: - 相同列值的记录**必定落入同一**。 - 的数量固定,数据分布由哈希函数决定。 --- ### **2. 分Join为什么能减少数据倾斜?** #### **(1) 数据均匀分布** - **哈希函数的作用**: 若分键选择合理(如高基数、分布均匀的列),哈希函数会将数据**均匀分散到各**,避免单个数据量过大。 - 例:用户ID作为分键,若ID分布均匀,则每个的数据量接近。 - **对比普通Join的倾斜场景**: 普通Join的Shuffle阶段需通过`Partitioner`分发数据,若某个键(如`city=北京`)数据量极大,会导致对应Reduce任务负载过重。 **分Join通过预分散数据,规避了Shuffle阶段的热点问题**。 #### **(2) Map端Join优化** 当两个分满足以下条件时,Hive会启用**Map端Join**(无需Reduce阶段): 1. 两的分键相同(如都是`user_id`)。 2. 分数量成倍数关系(如A有4个B有8个)。 - **执行流程**: - 小的每个直接加载到内存,与大对应在Map阶段完成Join。 - 避免Shuffle和Reduce阶段,彻底规避数据倾斜。 #### **(3) Sort-Merge Bucket Join** 若分同时按分键排序(`SORTED BY`),Hive可使用更高效的**Sort-Merge Bucket Join**: - **原理**: - 两的分键相同、数量相同且排序一致时,直接按文件顺序合并,复杂度接近线性。 - **优势**: - 无需全扫描或哈希加载,内存压力小。 - 天然避免因数据分布不均导致的性能问题。 --- ### **3. 分Join vs. 普通Join的数据流转对比** #### **普通Join的倾斜场景** | 步骤 | 问题描述 | |--------------|--------------------------------------------------------------------------| | Shuffle阶段 | 热点键(如`user_id=1001`)对应的数据全部分发到同一Reduce任务,导致负载不均。 | | Reduce阶段 | 处理热点键的任务耗时远高于其他任务,整体作业时间被拖长。 | #### **分Join的优化效果** | 步骤 | 优化效果 | |--------------|--------------------------------------------------------------------------| | 数据写入时 | 热点键的数据被哈希分散到多个中(如`user_id=1001`可能分布在1和3)。 | | Map阶段 | 每个独立处理,单个内数据量可控,无跨节点数据传输。 | | Reduce阶段 | 若启用Map端Join,则完全跳过Reduce阶段,无倾斜风险。 | --- ### **4. 分Join适用场景与注意事项** #### **适用场景** - **大Join**:通过分避免Shuffle。 - **高频Join键**:如用户行为与用户画像按`user_id`关联。 - **数据倾斜历史问题**:针对已知热点键的优化。 #### **注意事项** 1. **分键选择**: - 优先选择高基数(唯一值多)、分布均匀的列(如用户ID、订单ID)。 - 避免选择低基数或倾斜的列(如性别、省份)。 2. **数量设置**: - 建议数量与集群可用CPU核心数匹配(如1~4倍)。 - 过多会导致小文件问题,过少可能无法有效分散数据。 3. **数据倾斜依然存在?** - 若分键本身分布不均,分Join可能失效。此时需结合**盐析(Salting)**或**动态分**进一步优化。 --- ### **5. 实例演示** #### **场景**:两张大`orders`和`users`按`user_id`分,解决Join倾斜问题。 ```sql -- 创建分 CREATE TABLE orders_bucketed ( order_id INT, user_id INT, amount DOUBLE ) CLUSTERED BY (user_id) INTO 32 BUCKETS; CREATE TABLE users_bucketed ( user_id INT, name STRING ) CLUSTERED BY (user_id) INTO 32 BUCKETS; -- 启用分Join优化 SET hive.optimize.bucketmapjoin = true; -- 执行Join SELECT * FROM orders_bucketed o JOIN users_bucketed u ON o.user_id = u.user_id; ``` **效果**:相同`user_id`的数据已预分配到相同中,Map阶段直接完成Join,无Shuffle和Reduce阶段倾斜风险。 --- ### **6. 总结** 分Join通过**预分区、哈希分散、Map端执行**三方面机制,从根本上减少了数据倾斜的可能性: 1. **写入时分散**:哈希函数均匀分布数据。 2. **计算时本地化**:避免Shuffle,热点数据被多分担。 3. **算法优化**:Sort-Merge策略提升效率。 合理使用分Join,结合业务特点设计分键,是解决Hive大数据关联场景下性能问题的有效手段。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值