Hive学习之连接查询优化（二）

最新推荐文章于 2025-05-19 10:04:18 发布

skyWalker_ONLY

最新推荐文章于 2025-05-19 10:04:18 发布

阅读量6k

点赞数

分类专栏： Hive 勤奋的Hive 文章标签： Hive 优化星型模式哈希表分布式缓存

勤奋的Hive 同时被 2 个专栏收录

33 篇文章 ¥9.90 ¥99.00

订阅专栏

Hive

32 篇文章 ¥9.90 ¥99.00

订阅专栏

本文详细介绍了Hive在Hive-0.11.0版本中对星型模式连接的优化，包括Map连接链的优化、自动连接转换的优化以及未来在任务端生成哈希表的可能性。优化主要包括合并MapJOIN操作，自动转换小表连接，减少MR作业数量，提高查询速度。同时，讨论了外连接和全外连接的转换限制，以及利用分布式缓存提升性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

星型连接增强功能

Hive-0.11.0中优化器的增强功能专注于星型模式配置中连接的有效处理。星型模式连接的初始化工作是受限制的，在该模式中所有维度表在过滤和投影后在同一时间装入内存。一部分维度表装入内存的场景还未实现。连接查询优化可以被分为三部分：

当使用MAPJOIN时，在只有map的一个作业中执行操作符树中的map连接链。
自动转换情况的扩展优化（在优化时生成合适的备份计划）。
完全在任务端产生内存中的哈希表（将来工作）。

下面分别描述这些优化器的增强功能。

Map连接链的优化

下面的查询在执行时将产生两个只有map的作业：

select /*+ MAPJOIN(time_dim, date_dim) */ count(*) from
store_sales 
join time_dim on (ss_sold_time_sk = t_time_sk) 
join date_dim on (ss_sold_date_sk = d_date_sk)
where t_hour = 8 and d_year = 2002

对于小的维度表来说，很可能两个表需要同时装入内存，这样会显著地降低执行该查询的时间，因为事实表只被读取一次而不是读取两次然后写

了解本专栏