超级会员免费看
本文介绍了Hive中的Reduce/Map/Shuffle Join，重点讲解了Map Join和SMB(Sort-Merge-Bucket) Join。Map Join适用于小表与大表连接，特别是在不等值连接和配合UNION ALL时能提升效率。SMB Join则是针对大表与大表的优化，通过创建桶并确保相同键的数据在同一桶内，减少数据扫描。总结中强调了Map Join的性能优势及其适用场景，以及SMB Join对于大表连接的重要性。
Hive中就是把Map，Reduce的Join拿过来，通过SQL来表示。
参考链接：LanguageManual Joins - Apache Hive - Apache Software Foundation
1.Reduce /Common/Shuffle Join
Reduce Join在Hive中也叫Common Join或Shuffle Join
它会进行把相同key的value合在一起，正好符合我们在sql中的join，然后再去组合，如图所示。
hive join操作默认使用的就是reduce join，reduce side join是一种最简单的join方式，其主要思想如下：
在map阶段，
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
