本文探讨了处理大数据倾斜的几种策略，包括使用HiveETL预处理数据以稳定处理，过滤倾斜key，调整shuffle并行度，双重聚合方法，将reducejoin转换为mapjoin，采样倾斜key并拆分join操作，以及使用随机前缀和扩容RDD进行join。这些方法旨在优化大数据处理性能，避免因数据倾斜导致的系统崩溃。
1、使用Hive ETL处理数据
相当于将数据倾斜提前到Hive中，Hive的底层是MapReduce，运行稳定，不容易失败，而Spark如果出现数据倾斜，很容易崩溃报错。
2、过滤导致少数倾斜的key
比如数据中有很多null的数据，对业务无影响的前提下，可以在shuffle之前过滤掉。
3、提高shuffle操作的并行度 groupbykey(100)
提高并行度，相当于增加了reducetask的数量，每一个reducetask中分区的数据量就会减小，可以缓解数据倾斜。
4、双重聚合
增加随机前缀聚合一次，再去掉前缀聚合 一次，代码会变得很复杂，对于很复杂的业务逻辑代码很难实现。
5、将reduce join转为map join
在map端进行关联，避免shuffle，没有shuffle就没有数据倾斜，只适用于大表关联小表（小表的数据量在1g左右）
6、采样倾斜key并拆分join操作
适用于大表关联小表，其中一个表数据分布不均，将倾斜的数据单独抽取出来使用mapjoin剩下没有倾斜的数据正常的join，最后将两次join的数据union在一起
7、使用随机前缀和扩容RDD进行join
很少使用，会导致rdd膨胀
扫一扫
1333
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
