Spark RDD案例：分组排行榜

最新推荐文章于 2024-07-11 11:37:37 发布
最新推荐文章于 2024-07-11 11:37:37 发布
阅读量317 收藏 1
点赞数
文章标签： hadoop 大数据 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_59687371/article/details/125316330
版权
本文介绍如何使用Spark RDD处理大数据场景中分组求TopN的问题。通过一个学生成绩案例，展示了如何将成绩数据上传到HDFS，然后利用Spark RDD的分组和排序功能，计算每个学生分数最高的前3个成绩。具体步骤包括新建Maven项目、添加依赖、创建日志属性文件以及编写分组排行榜单例对象。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、提出任务

分组求TopN是大数据领域常见的需求，主要是根据数据的某一列进行分组，然后将分组后的每一组数据按照指定的列进行排序，最后取每一组的前N行数据。

  • 有一组学生成绩数据张三丰 90
  1. 李孟达 85
  2. 张三丰 87
  3. 王晓云 93
  4. 李孟达 65
  5. 张三丰 76
  6. 王晓云 78
  7. 李孟达 60
  8. 张三丰 94
  9. 王晓云 97
  10. 李孟达 88
  11. 张三丰 80
  12. 王晓云 88
  13. 李孟达 82
  14. 王晓云 98
  • 同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩，期望输出结果如下所示：
  1. 张三丰：94 90 87
  2. 李孟达：88 85 82
  3. 王晓云：98 97 93

预备工作：启动集群的HDFS与Spark

 将成绩文件 - grades.txt上传到HDFS上/input目录

  • 实现思路：使用Spark RDD的groupByKey()算子可以对(key, value)形式的RDD按照key进行分组，key相同的元素的value将聚合到一起，形成(key, value-list)，将value-list中的元素降序排列取前N个即可。

二、完成任务

（一）新建Maven项目

设置项目信息（项目名、保存位置、组编号、项目编号）

将java目录改成scala目录

最低0.47元/天 解锁文章
ukng
关注
Spark RDD案例：分组排行榜（大数据实训02）
qq_56244269的博客
06-15 1058
目录一、提出任务二、完成任务（一）新建Maven项目（二）添加相关依赖和构建插件（三）创建日志属性文件四）创建分组排行榜单例对象（五）本地运行程序，查看结果（六）交互式操作查看中间结果1、读取成绩文件得到RDD2、利用映射算子生成二元组构成的RDD3、按键分组得到新的二元组构成的RDD4、按值排序，取前三5、按指定格式输出结果 张三丰 90 李孟达 85 张三丰 87 王晓云 93 李孟达 65 张三丰 76 王晓云 78 李孟达 60 张三丰 94 王晓云 97 李孟达 88 张三丰 80 王晓云 88
【Spark SQL：分组排行榜】
qq_56238454的博客
06-16 501
使用 Spark SQL 实现分组排行榜
sql 排名 排行榜
昊喵喵博士
03-03 880
查询指定用户 并列排名 $sql = "SELECT total.* FROM ( SELECT obj.user_id, obj.my_score, obj.correct_num, obj.error_num,CASE WHEN @rowtotal = obj.my_score THEN @rownum WHEN @rowtotal := obj.my_score THEN @rownum :=@rownum + 1 WHEN @rowtota
spark小案例——RDD,sparkSQL
fengjian的博客
10-10 1558
分别使用RDD和SparkSQL两种方式解决相同的数据分析问题； 项目数据 项目需求 使用RDD和SQL两种方式对数据清洗 清洗需求如下： 统计每个店铺分别有多少商品 统计每个店铺的总销售额 统计每个店铺销售额最高的前三商品，输出内容包括：店铺名，商品名和销售额其 中销售额为0的商品不进行统计计算，例如：如果某个店铺销售为 0则不进行统计 。 涉及到的pom依赖 <properties> <scala.version>2.12.10</scala.versio
sql统计排名
Json1204的专栏
08-13 3190
create table tb(员工姓名 varchar(10),销售金额 int,销售时间 datetime) insert into tb values('员工A', 10 ,'2011-8-3 00:56:01') insert into tb values('员工C', 15 ,'2011-9-1 11:56:01') insert into tb values('员工D', 20
RDD自定义排序
互坑
01-04 4818
在spark中很多时候回去对RDD进行排序，但是官方给的排序规则无法满足我们的需求，许多时候需要我们重新定义排序规则，接下来我们来谈论一下RDD的排序规则。 首先我们通过代码来看一下sparkAPI中自带排序算子sortBy和sortByKey val conf = new SparkConf().setAppName("sortByKey").setMaster("local[2]")
SQL 排名怎么写？
qq_41249665的博客
06-01 618
select et.company_no as companyNo,et.building_no as buildingNo,et.energy_code as energyCode,se.name as energyName,et.cycle_type as cycleType, DATE_FORMAT(et.cycle_start_date, '%Y-%m-%d') as cyc...
mysql使用sql实现排行榜
最新发布
hide-on-bush的博客
07-11 368
mysql实现排行
mysql sql数据排名_查询数据排名情况SQL
weixin_33600827的博客
01-21 849
查询数据排名情况SQL1/准备测试数据---------------------------------------------------------------------------------create table t1(c1 integer,c2 integer,c3 integer);insert into t1 values(1,2,3)insert into t1 values(...
最新统计排名前十的SQL和NoSQL数据库排行榜
09-10
主要介绍了最新统计排名前十的SQL和NoSQL数据库排行榜,本文包括Oracle、MySQL、Microsoft SQL Server、PostgreSQL、MongoDB等数据库,需要的朋友可以参考下
RDD和SparkSQL综合应用
Python_Ai_Road的博客
01-02 1073
公众号后台回复关键词：pyspark，获取本项目github地址。在pyspark大数据项目实践中，我们往往要综合应用SparkSQL和RDD来完成任务。通常，我们会使用SparkSQL...
Spark pairRDD（键值对）操作：聚合、分组、连接、排序
Yage的博客
05-11 5972
Spark 为包含键值对类型的RDD 提供了一些专有的操作。这些RDD 被称为pair RDD。Pair RDD 是很多程序的构成要素，因为它们提供了并行操作各个键或跨节点重新进行数据分组的操作接口。我们通常从一个RDD 中提取某些字段（例如代表事件时间、用户ID 或者其他标识符的字段），并使用这些字段作为pair RDD 操作中的键。 1 Pair RDD的转化操作 Pair RDD 可以使用所...
【开发技术经验分享】计算机毕业设计hadoop+spark知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计
全网粉丝10W+、全栈领域优质创作者、掘金、阿里云等社区博客专家、专注于全栈领域和毕业项目实战
07-27 713
计算机毕业设计hadoop+spark知识图谱高考分数预测系统 高考志愿推荐系统 高考可视化大屏 高考大数据 高考数据分析 高考爬虫 大数据毕业设计
sortWith与sortBy
chbxw
09-09 1287
import org.apache.spark.{SparkConf, SparkContext} /** * 先分组， 后排序<br> * sorted:<br> * sortWith:<br> * sortBy:<br> */ object GroupTopN { val conf = new SparkConf()...
Spark RDD编程
优快云_张子
01-07 3206
一、 实验目的： 1.熟悉 Spark RDD的基本操作。 2.熟悉使用RDD编程解决具体问题的方法。 二、 实验内容和要求： 编程实现输出前3个学生的信息、文件中前3个学生的平均分、文件中前3个学生的最高分、文件中前3个学生的平均分、总分数最高的前三名、Scala成绩最高的前3名、Python成绩最高的前3名、Java成绩最高的前3名。 未使用Scala或pyshark，仅通过python实现然后在spark中运行py文件 三、 实验过程： （1） 安装Spark，验证Spark是否安装成功 启动S
SparkSQL中RDD和DF之间相互转换
Huc673619的博客
11-04 2512
package com.huc.sparkSql import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, Row, SparkSession} import org.apache.spark.{SparkConf, SparkContext} /** * 1.RDD 转换为DataFrame * 手动转换：RDD.toDF("列名1","列名2") * 通过样例类反射转换:UserRDD.map{x=>U
Spark使用RDD实现分组topN(八种方法)
weixin_43218601的博客
11-17 1906
Spark使用RDD实现分组topN(八种方法)
spark RDD编程 第3关：求平均值
weixin_44686879的博客
10-22 7305
任务描述 本关任务：编写Spark独立应用程序实现求平均值。 相关知识 为了完成本关任务，你需要掌握：RDD的创建；RDD的转换操作；RDD的行动操作。 RDD的创建 使用textFile()方法从本地文件系统中加载数据创建RDD，示例如下： val lines = sc.textFile("file:///home/hadoop/word.txt") 执行sc.textFile()方法以后，Spark从本地文件word.txt中加载数据到内存，在内存中生成一个RDD对象lines，这个RDD里
sparkrdd中分组取topn案例以及优化
09-16
### 回答1： Spark RDD中分组取TopN案例是指在一个RDD中，根据某个键值进行分组，然后对每个组内的数据进行排序，取出每个组内的前N个数据。这种操作在数据分析和处理中非常常见，可以用于统计每个地区的销售额排名前N的产品、每个用户的消费排名前N的商品等。 优化方面，可以考虑使用Spark SQL或DataFrame来实现分组取TopN操作，因为它们提供了更高级的API和优化技术，可以更快速地处理大规模数据。另外，可以使用分布式缓存技术将数据缓存到内存中，以加快数据访问速度。还可以使用分区和并行计算等技术来提高计算效率。 ### 回答2： Spark RDD中分组取Top N的案例可以是对一个大数据集中的用户数据进行分组，然后取每个组中消费金额最高的前N个用户。这个案例可以通过以下步骤来实现： 1. 将用户数据载入Spark RDD中，每个数据记录包含用户ID和消费金额。 2. 使用groupBy函数将RDD按照用户ID进行分组，得到一个以用户ID为key，包含相同用户ID的数据记录的value的RDD。 3. 对每个分组的value调用top函数，指定N的值，以获取每个分组中消费金额最高的前N个用户。 4. 可以将每个分组中Top N的用户使用flatMap函数展开为多个记录，并可以添加一个新的字段表示该记录属于哪个分组。 5. 最后，可以使用collect函数将结果转化为数组或者保存到文件或数据库中。 在这个案例中，进行优化的关键是减少数据的传输和处理开销。可以使用缓存或持久化函数对RDD进行优化，以减少重复计算。另外，可以使用并行操作来加速计算，如使用并行的排序算法，或向集群中的多个节点分发计算任务。 对于分组取Top N的优化，还可以考虑使用局部聚合和全局聚合的策略。首先对每个分组内的数据进行局部聚合，例如计算每个分组的前M个最大值。然后，对所有分组的局部聚合结果进行全局聚合，例如计算所有分组的前K个最大值。 另一个优化策略是使用采样技术，例如随机采样或分层采样，以减少需要处理的数据量。 最后，还可以考虑使用Spark的其他高级功能，如Broadcast变量共享数据，使用累加器进行计数或统计等，来进一步提高性能和效率。 ### 回答3： Spark RDD 是 Spark 提供的一种基于内存的分布式数据处理模型，其核心数据结构是弹性分布式数据集(RDD)。 在 Spark RDD 中，分组取TopN 是一种常见的需求，即对 RDD 中的数据按某个字段进行分组，并取出每个分组中字段值最大的前 N 个数据。 下面以一个示例来说明分组取 TopN 的用法和优化方法： 假设有一个包含学生信息的 RDD，其中每条数据都包括学生的学科和分数，我们希望对每个学科取出分数最高的前 3 名学生。 ```python # 创建示例数据 data = [ ("语文", 80), ("数学", 90), ("语文", 85), ("数学", 95), ("语文", 75), ("数学", 92), ("英语", 88) ] rdd = sc.parallelize(data) # 分组取TopN top3 = rdd.groupByKey().mapValues(lambda x: sorted(x, reverse=True)[:3]) # 输出结果 for subject, scores in top3.collect(): print(subject, scores) # 输出结果： # 数学 [95, 92, 90] # 语文 [85, 80, 75] # 英语 [88] ``` 在上述代码中，我们先使用 `groupByKey()` 对 RDD 进行分组操作，然后使用 `mapValues()` 对每个分组内的数据进行排序并取前 3 个值。 这种方式的优化点在于，通过将分组操作和取 TopN 操作分开，可以减轻数据倾斜的问题。同时，对每个分组进行排序会占用大量计算资源，可以考虑将数据转换为 Pair RDD，并利用 Spark 提供的 `top()` 算子来优化取 TopN 的操作。 ```python # 转换为 Pair RDD pair_rdd = rdd.map(lambda x: (x[0], x[1])) # 分组并取TopN，使用top()算子代替排序操作 top3 = pair_rdd.groupByKey().mapValues(lambda x: sorted(x, reverse=True)).mapValues(lambda x: x[:3]) # 输出结果 for subject, scores in top3.collect(): print(subject, scores) # 输出结果： # 数学 [95, 92, 90] # 语文 [85, 80, 75] # 英语 [88] ``` 通过以上优化，我们可以更好地处理大规模数据集下的分组取 TopN 的需求，提高计算性能和资源利用率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值