Spark SQL案例：分组排行榜

最新推荐文章于 2024-04-09 11:47:19 发布

原创

最新推荐文章于 2024-04-09 11:47:19 发布 · 600 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive #hadoop #数据仓库

该博客介绍了如何使用Spark SQL处理学生成绩数据，计算每个学生的最高分前3名。首先，创建一个Maven项目并添加相关依赖，然后通过读取HDFS上的成绩文件，创建数据帧并建立临时表。接着，利用Spark SQL查询临时表，实现分组排行榜。在过程中可能会遇到Spark SQL不支持某些MySQL子查询的限制。

一、提出任务

学生成绩数据

张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云 98

同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩
数据表t_grade

执行查询

SELECT * FROM t_grade tg 
   WHERE (SELECT COUNT(*) FROM t_grade 
	           WHERE tg.name = t_grade.name 
						    AND score >= tg.score						 		
	        ) <= 3 ORDER BY name, score DESC;

预备工作：启动集群的HDFS与Spark

将成绩文件 - grades.txt上传到HDFS上/input目录

二、完成任务

（一）新建Maven项目

设置项目信息
单击【Finish】按钮

（二）添加相关依赖和构建插件

在pom.xml文件里添加依赖与Maven构建插件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"