如果需要中间过程对key的分组规则和reduce前对key的分组规则不同，那么可以通过 JobConf.setOutputValueGroupingComparator(Class)来指定一个Comparator。再加上 JobConf.setOutputKeyComparatorClass(Class)可用于控制中间过程的key如何被分组，所以结合两者可以实现按值的二次排序。
setOutputValueGroupingComparator与setOutputKeyComparatorClass
最新推荐文章于 2022-01-01 14:27:27 发布
本文介绍在MapReduce中如何通过设置不同的比较器实现复杂的排序需求，包括中间过程的分组规则和reduce前的分组规则差异，以此达到按值进行二次排序的目的。
扫一扫
2056
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
