Spark Sql实训3：分组排行榜

原创

已于 2022-06-17 11:17:59 修改 · 244 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #hdfs #big data

于 2022-06-16 09:36:40 首次发布

这篇博客通过实例展示了如何使用Spark SQL处理学生成绩数据，计算每个学生最高分的前三名。首先新建Maven项目，添加Spark相关依赖，然后创建日志属性文件和分组排行榜单例对象。接着在本地运行程序，读取HDFS上的成绩文件，将数据转换为数据帧并创建临时表，最后执行查询获取分组排行榜。

一、提出任务

有一组学生成绩数据
张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云 98

现需要计算每个学生分数最高的前3个成绩，希望得到如下结果

创建数据表t_grade

执行查询

SELECT * FROM t_grade tg 
   WHERE (SELECT COUNT(*) FROM t_grade 
	           WHERE tg.name = t_grade.name 
						    AND degree >= tg.degree						 		
	        ) <= 3 ORDER BY name, degree DESC;

启动集群的HDFS与Spark

使用Spark RDD的groupByKey()算子可以对(key, value)形式的RDD按照key进行分组，key相同的元素的value将聚合到一起，形成(key, value-list)，将value-list中的元素降序排列取前N个即可。

创建成绩文件 - grades.txt

张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云 98

将成绩文件 - grades.txt上传到HDFS上/input目录

二、完成任务

（一）新建Maven项目

设置项目信息

（二）添加相关依赖和构建插件

在pom.xml文件里添加依赖与Maven构建插件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
         http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.ydl.rdd</groupId>
    <artifactId>GradeTopN</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>