本文概述了Hive优化的关键方法，包括减少数据量、避免数据倾斜、防止全表扫描、合并Job任务以及在代码层面的改进，如使用中间表、合理选择存储格式和JVM重用。同时讨论了数据倾斜问题的调参和Job任务的并行执行策略。
Hive优化的核心思想：
减少数据量（例如分区等操作）
避免数据倾斜（例如加参数，打散key值等的操作）
避免全表扫描（where过滤，特定分区等的操作，和减少数据量目标一致）
减少job数（相同的on条件放在一起作为一个任务）
下面就日常工作总结出的一些基础优化点，从以下几方面分开阐述
代码层面：
- 考虑使用中间表进行存储，避免子查询太复杂且数据量太大。
- 大小表的join 不过现在hive内部进行了优化，自动视小表为驱动表
- 分区/分桶表的优化，避免全表扫描，提升查询效率
【Hive】部分基础语法/调参优化
于 2024-04-05 23:00:28 首次发布
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
