项目三：利用Spark SQL实现分组排行榜

已于 2022-07-10 11:38:40 修改
阅读量872 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # Spark基础学习笔记（2） 文章标签： spark sql 分组TopN
于 2022-06-15 21:19:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/125303513
本文介绍如何在大数据场景下，利用Spark SQL的开窗函数解决分组求TopN的问题。通过实例展示了创建Maven项目，配置依赖，处理学生成绩数据，将数据集转换为数据帧，创建临时表并执行SQL查询，最终得出每个学生分数最高的前3个成绩的排行榜。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、提出任务

  • 分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。
  • 有一组学生成绩数据
张三丰 90
李孟达 85
张三丰 87
王晓云 93
李孟达 65
张三丰 76
王晓云 78
李孟达 60
张三丰 94
王晓云 97
李孟达 88
张三丰 80
王晓云 88
李孟达 82
王晓云
了解本专栏 订阅专栏 解锁全文 超级会员免费看
任务4.8.4 利用Spark SQL实现分组排行榜
howard2005的专栏
06-22 1089
本实战任务展示了如何使用Spark SQL对数据进行分组和TopN计算，这是大数据领域中常见的数据处理需求。通过Spark SQL的窗口函数，可以方便地实现复杂的数据分析任务。
4.8.4 利用Spark SQL实现分组排行榜
最新发布
howard2005的专栏
05-28 506
在本次实战中，我们的目标是利用Spark SQL实现分组排行榜，特别是计算每个学生分数最高的前3个成绩。任务的原始数据由一组学生成绩组成，每个学生可能有多个成绩记录。我们首先将这些数据读入Spark DataFrame，然后按学生姓名分组，并使用窗口函数对学生成绩进行降序排序。通过row_number()函数为每个分组的成绩分配行号，筛选出行号小于等于3的记录，即为每个学生分数最高的前3个成绩。
Spark SQL案例：分组排行榜
m0_65838036的博客
06-17 222
Spark SQL案例：分组排行榜
spark分组排序三
huyang0101的博客
12-22 1355
前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot a
Spark SQL案例：分组
m0_63797754的博客
06-19 964
Spark SQL 案例：分组
关于关联子查询--correlated subquery
甲骨文可乐的专栏
07-08 2862
文档地址：http://docs.oracle.com/cd/B19306_01/server.102/b14200/queries007.htm#sthref3193   Using Subqueries        Oracle performs a correlated subquery when a nested subquery references a column from a t
pyspark及Spark报错问题汇总及某些函数用法。
元元的李树专栏
01-07 3万+
此贴，主要记录本人在工作中遇到的某些报错问题，并提出自己的解决办法。 1. spark = SparkSession.builder() TypeError: 'Builder' object is not callable 解决办法：.builder() 改为.builderhttps://issues.apache.org/jira/browse/SPARK-1842...
【Spark SQL：分组排行榜】
qq_56238454的博客
06-16 506
使用 Spark SQL 实现分组排行榜
Spark Core 和 Spark SQL 实现分组取Top N(基于scala)
wftt的博客
07-05 6134
分组取Top N在日常需求中很多见： 每个班级分数前三名同学的名字以及分数 各省指标数量前三的市的名字 等等需求，主要思想就是在某一个分区（班级，省）中取出该分区Top N的数据 测试数据格式： 如上图，字段含义为，班级，学生姓名，分数 下面我们通过一个Demo来实现各班级分数前三的学生姓名以及分数 1、通过Spark core 实现： //读取测试数据保存为rdd ...
MySQL 8.0-13.2.11.7 Correlated Subqueries(关联子查询)
tangwenqiang177的专栏
11-09 1734
Acorrelated subqueryis a subquery that contains a reference to a table that also appears in the outer query. For example: 相关子查询是一个子查询，它包含对同样出现在外部查询中的表的引用。例如: SELECT * FROM t1 WHERE column1 = ANY (SELECT column1 FROM t2 WHERE t..
sparksql分组后topN（JAVA）
ZYJ_2012的博客
03-21 1535
org.apache.spark spark-core_2.10 1.6.0 org.apache.spark spark-sql_2.10 1.6.0 org.apache.spark spark-hive_2.10 1.6.0 public class RowNumberTopN { public static
DB2 SQL错误查询
热门推荐
滴水成海
06-24 11万+
DB2 开发常遇到一些错误，从网上找了一些资料，留查错使用   DB2 UDB的AS/400 SQL编程 Negative SQLCODEs 负SQLCODE＃ SQL0007 SQLCODE -07 SQLSTATE 42601 SQL0007 SQLCODE -07 SQLSTATE 42601 Explanation: Character &1 (HEX &2) not va
大数据实战：基于Spark SQL统计分析函数求分组TopN
kwame211的博客
08-01 3497
做大数据分析时，经常遇到求分组TopN的问题，如：求每一学科成绩前5的学生；求今日头条各个领域指数Top 30%的头条号等等。Spark SQL提供了四个排名相关的统计分析函数： dense_rank() 返回分区内每一行的排名，排名是连续的。 rank() 返回分区内每一行的排名，排名可能不连续。 percent_rank() 返回相对百分比排名。 row_number() 返回每个分区...
23. SparkSQL - The correlated scalar subquery can only contain equality predicates
元元的李树专栏
11-08 661
23. SparkSQL - The correlated scalar subquery can only contain equality predicates https://stackoverflow.com/questions/41631199/sparksql-the-correlated-scalar-subquery-can-only-contain-equality-pred...
SPARK-SQL - group分组聚合api，agg()
小哇
08-11 1989
准备orders.json文件 {"id":"1", "userId":"1", "userName":"Join", "totalPrice":80.0,"qty":3.0} {"id":"2", "userId":"1", "userName":"Join", "totalPrice":50.0,"qty":3.0} {"id":"3", "userId":"2", "userName":"Jeffy", "totalPrice":200.0,"qty":3.0} {"id":"4", "use.
Expression #2 of SELECT list is not in GROUP BY clause and contains nonaggregated column 'test.emplo
weixin_43256057的博客
12-20 667
情况：输入以下命令 select group_concat(name),salary from employee left join department on employee.departmentID=department.d_id group by department.d_id; mysql里一旦报这个错：select group_concat(name),salary from empl...
使用Spark core和SparkSQL的窗口函数分别实现分组取topN的操作
bbaiggey_bigdata的博客
08-29 4424
在spark 1.4及以上版本中，针对sparkSQL，添加了很多新的函数，进一步扩展了SparkSQL对数据的处理能力。 本篇介绍一个强大的窗口函数 row_number()函数，常用于对数据进行分组并取每个分组中的TopN数据。 示例数据如下： class1 90 class2 56 class1 87 class1 76 class2 88 class1 95 class1 7
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值