本文详细探讨了Hive中的数据倾斜问题，包括其定义、原因和主要表现。重点介绍了三种业务场景下的解决方案：A.空值处理，通过不参与关联或赋予空值新key来解决；B.不同数据类型关联时，通过类型转换避免倾斜；C.大小表关联查询，建议使用map join。这些方法有助于提高Hive查询效率并减少数据倾斜的影响。
数据倾斜
1、什么是数据倾斜？ 由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点
2、Hadoop 框架的特性
A、不怕数据大，怕数据倾斜
B、Jobs 数比较多的作业运行效率相对比较低，如子查询比较多
C、 sum,count,max,min 等聚集函数，通常不会有数据倾斜问题
3、主要表现： 任务进度长时间维持在 99%或者 100%的附近，查看任务监控页面，发现只有少量 reduce 子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。 单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大 于平均时长。
4、容易数据倾斜情况
A、group by 不和聚集函数搭配使用的时候
B、count(distinct)，在数据量大的情况下，容易数据倾斜，因为 count(distinct)是按 group by 字段分组，按 distinct 字段排序
C、 小表关联超大表 join
5、产生数据倾斜的原因：
最低0.47元/天 解锁文章
扫一扫
289
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
