MR案例 - 成绩分组排行榜

酒城译痴无心剑

已于 2022-12-10 20:24:58 修改

阅读量637

点赞数

CC 4.0 BY-SA版权

分类专栏：探索大数据-从Hadoop到Flink 文章标签： MapReduce TopN

于 2022-12-01 17:51:44 首次发布

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/128134605

探索大数据-从Hadoop到Flink 专栏收录该内容

236 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了一种使用MapReduce处理大数据场景下的成绩分组TopN问题。任务是根据学生的成绩数据，计算每个学生分数最高的前3个成绩。首先在虚拟机上创建并上传数据文件到HDFS，接着创建Maven项目，添加相关依赖，创建日志属性文件，定义映射器、归并器和驱动器类。通过TreeMap数据结构和MapReduce流程，实现了分组后的成绩排序并获取TopN。最后运行应用并查看结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、提出任务

分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。
有一组学生成绩数据

张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云

了解本专栏

超级会员免费看