hive--Sort Merge Bucket Map Join

最新推荐文章于 2025-05-02 08:49:43 发布

原创最新推荐文章于 2025-05-02 08:49:43 发布 · 191 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #hive #mapjoin #bucket

Hadoop 专栏收录该内容

27 篇文章

订阅专栏

本文详细介绍了BucketMapJoin技术在处理大规模数据集时的应用与优化策略，通过设置特定参数实现高效的数据关联操作。通过对比普通join与BucketMapJoin的性能，展示了如何在数据倾斜和笛卡尔积情况下提升处理速度，有效缩短了执行时间，从理论上和实践上提供了优化大数据处理流程的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Bucket Map Join

1. 测试1：两个1亿多记录的表，不存在数据倾斜与笛卡尔积，测试下来与普通的join差不多；

2. 测试2：一个4000万和一个5000多万的表join,关联键数据倾斜，并且笛卡尔积，效果明显；

create table lxw_test(imei string,sndaid string,data_time string)
CLUSTERED BY(imei) SORTED BY(imei) INTO 10 BUCKETS;

create table lxw_test1(imei string,sndaid string,data_time string)
CLUSTERED BY(imei) SORTED BY(imei) INTO 5 BUCKETS;

两个表关联键为imei,需要按imei分桶并且排序，小表（lxw_test）分桶数是大表（lxw_test1）的倍数(这点是在网上看的，需要这样，暂且这么做了)；

set hive.enforce.bucketing = true;

插入数据前需要打开该选项；

insert overwrite table lxw_test
select imei,sndaid,null  
from woa_all_user_info_his 
where pt = '2012-05-28' 
limit 40000000;


insert overwrite table lxw_test1
select imei,sndaid,data_time 
from woa_all_user_info_his 
where pt = '2012-05-28';

join时需要打开的参数：

set hive.optimize.bucketmapjoin = true;
set hive.optimize.bucketmapjoin.sortedmerge = true;
set hive.input.format=org.apache.hadoop.hive.ql.io.BucketizedHiveInputFormat;

select /*+ mapjoin(b) */ count(1) 
from lxw_test1 a 
join lxw_test b 
on a.imei = b.imei

将小表做为驱动表，mapjoin;

包括insert数据，差不多10分钟左右；

如果这两个表做普通的join, 耗时1个多小时，没跑完，kill掉了。