本文介绍如何使用TopN算法和自定义GroupComparator在MapReduce中实现按班级筛选最高平均分学生的功能。首先，将分组和排序字段整合到自定义对象中；接着，定义ReduceTask的分组规则；最后，编写MapReduce程序完成需求。
TopN 算法实现-自定义 GroupComparator
1、需求
在统计学生成绩的小项目中，现在有一个需求： 求出每个班参考学生成绩最高的学生的信息，班级，姓名和平均分
2、分析
- 利用“班级和平均分”作为 key，可以将 map 阶段读取到的所有学生成绩数据按照班级 和成绩排倒序，发送到 reduce
- 在 reduce 端利用 GroupingComparator 将班级相同的 kv 聚合成组，然后取第一个即是最 大值
3、实现
第一步：先把分组和排序字段都综合到一个自定义对象里
第二步：编写排序之后的 ClazzScore 数据传入 ReduceTask 的分组规则
第三步：编写 MapReduce 程序
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
