Spark大数据处理学习笔记（3.8.3） Spark RDD典型案例-利用RDD实现分组排行榜

该文章主要为完成实训任务，详细实现过程及结果见【http://t.csdn.cn/Twpwe】

---

一、任务目标

• 分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。
• 有一组学生成绩数据

张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云 98

• 同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩，期望输出结果如下所示

张三丰：94 90 87
李孟达：88 85 82
王晓云：98 97 93

二、准备工作

2.1 在本地创建成绩文件

• 在/home目录里创建grades.txt文件
  

2.2 将成绩文件上传到HDFS上指定目录

• 将grades.txt上传到HDFS的/topn/input目录
  

三、完成任务

3.1 在Spark Shell里完成任务

3.1.1 读取成绩文件得到RDD

• 执行命令：val lines = sc.textFile("hdfs://master:9000/topn/input/grades.txt")
  

3.1.2 利用映射算子生成二元组构成的RDD

val grades = lines.map(line => {
   
   
       val fields = line.split(" ")
       (fields(0),