超级会员免费看
本文介绍了Hive中的数据倾斜现象，分析了其产生的原因，包括数据分布不均匀、SQL设计不合理和建表类型问题等。重点探讨了count、distinct、group by和join等算子如何引发倾斜，并提出打散key、分段聚合、列裁剪和case when优化等解决策略。通过空值join、字段类型不一致和表数据量过大等实际场景，展示了应对数据倾斜的具体方法。
1.什么是数据倾斜？
由于数据分布不均匀，导致大量数据集中到一点，造成数据热点。常见现象：一个 hive sql 有100个 map/reducer task， 有一个运行了 20分钟，其他99个 task 只运行了 1分钟。
2.产生数据倾斜的原因有哪些？
我个人认为导致数据倾斜的本质原因是数据量过大，导致程序不能按预期结果输出。一般原因有如下几个：
key 分布不均匀
sql 不合理
建表时类型有问题
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
