Shuffle中的Partition分区(入门)
Partition分区:
分区运行时间是在map后reducer前。
解决如:要求将统计结果按照条件输出到不同文件中。此类问题。
默认分区:
自定义Partitionner步骤
自定义的类继承Partitioner,重写getPartition()方法
//前两个参数是map输出的K,V,最后一个参数是设置分区的数量,在Driver中设置
public int getPartition(Text key, FlowBean value, int numPartitions) {
//里面是控制分区的
原创
2020-05-29 10:36:56 ·
1293 阅读 ·
0 评论