sparksql运算调优纪事（三）——repartition数据倾斜处理

版本

spark2.1.0

现象

继续上一章，利用effective_time字段进行重新分区导致了任务执行的倾斜

本章就要针对这个问题进行处理。

问题定位

首先看下repartition是如何进行重分区的。

由partitionExprs.map(_.expr)可以得知，代码根据列最终返回的key进行map分区，而根据接口注释，可以得知，该接口根据传入partitionExprs将数据重新进行map划分到numPartitions个分区中，这效果类似于hivesql 中的distribute by。

Returns a new Dataset partitioned by the given partitioning expressions into `numPartitions`. The resulting Dataset is hash partitioned.
This is the same operation as "DISTRIBUTE BY" in SQL (Hive QL).

hive利用 Distribute By将相同key划分到同一分区下

Hive uses the columns in Distribute By to distribute the rows among reducers. A