Spark RDD案例：计算总成绩

酒城译痴无心剑

已于 2022-06-25 00:16:47 修改

阅读量839

点赞数

CC 4.0 BY-SA版权

分类专栏： # Spark基础学习笔记（2）文章标签： spark RDD

于 2022-05-24 17:55:02 首次发布

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/124950450

Spark基础学习笔记（2）专栏收录该内容

150 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文通过一个具体的案例介绍了如何使用Spark RDD来计算成绩表的总成绩。首先提出了任务，即处理一个包含姓名、语文、数学、英语四字段的成绩表。接着详细讲解了完成任务的步骤，包括将成绩文件上传到HDFS，创建Maven项目，配置依赖和构建插件，设置日志属性文件，创建计算总成绩的单例对象，并最终运行程序查看结果，实现了在HDFS上生成并查看计算后的结果文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、提出任务
二、完成任务

一、提出任务

成绩表，包含四个字段（姓名、语文、数学、英语），只有三条记录

姓名	语文	数学	英语
张钦林	78	90	76
陈燕文	95	88	98
卢志刚	78	80	60

成绩表文件 - scores.txt

张钦林 78 90 76
陈燕文 95 88 98
卢志刚

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

酒城译痴无心剑

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

Spark RDD算子案例：两种方式计算学生总分

howard2005的专栏

03-13

3394

利用spark shell计算学生总分、编写Scala程序生成jar包提交到Spark服务运行

Spark基础学习：掌握RDD算子（2）

weixin_54425212的博客

06-16

364

按键归约算子可能存在问题：在Windows下的IDEA中访问HDFS报错下载对应版本的，放在hadoop安装目录的子目录里配置hadoop环境变量创建Maven项目 - SparkRDDDemo 将目录改为在文件里添加依赖和构建插件在资源文件夹里创建日志属性文件创建包运行程序，查看结果运行程序，查看结果运行程序，查看结果...

参与评论您还未登录，请先登录后发表或查看评论

Spark RDD案例：计算总分

m0_63797754的博客

06-23

639

SparkRDD案例：计算总分

SparkRDD 案例：计算总成绩

CITTB的博客

06-21

529

积极

Spark RDD实训4：计算总成绩

balabalalibala的博客

06-23

677

用RDD计算总分

JavaSpark | RDD实战：统计网站 pv 和 uv

liujiesxs的博客

07-22

995

利用 javaSpark完成统计网站 pv 和 uv

Spark RDD案例：分组排行榜

weixin_52112640的博客

06-15

573

同一个学生有多门成绩，现需要计算每个学生分数最高的前3个成绩，期望输出结果如下所示：预备工作：启动集群的HDFS与Spark 本地上传文本grades.txt 到hdfs 在hdfs上查看grades.txt内容二、完成任务（一）新建Maven项目设置项目信息增加目录scala （二）添加相关依赖和构建插件在pom.xml添加依赖（五）本地运行程序，查看结果在控制台查看输出结果（六）使用交互式方法 1、使用spark-shell 2、读取hdfs上的文

Spark基础编程学习02

数据攻城狮的博客

03-20

2502

文章目录输出单科成绩为100分的学生ID使用union()合并多个RDD使用filter()进行过滤使用distinct()进行去重简单的集合操作intersection()subtract()cartesian()任务实现创建数据RDD通过filter操作过滤出成绩为100分的学生数据，并通过map提取学生ID通过union操作合并所有ID，并利用distinct去重输出每位学生所有科目的总成绩创建键值对RDD转换操作keys与values转换操作reduceByKey()转换操作groupByKey()

基于Spark的学生成绩分析系统

来吧，和鹿丸君一起打豆豆！

07-02

1万+

本文是本人硕士期间云计算课程的一次大作业，所以可能部分内容有充字数的嫌疑，还望各位看官无视。。。但是也正因为此，本文对一些基础概念描述的也挺详细，包括但不限于Spark简介、Spark与Hadoop对比、Spark架构介绍、Pearson相关系数简介、Spark中的combineByKey函数简介等。

学科、姓名、分数。分别计算每门学科分数最高的前三名，并显示名次。写入MySQL中。

01-20

hadoop,xiaoji,99 hadoop,mingyang,98 hadoop,susan,99 spark,xiaoli,98 spark,xiaohua,95 hive,lele,89 spark,zhangsan,99 hive,tim,97 hive,kebi,94 hive,mike,99 hadoop,xiaoming,96 hive,susan,96 spark,wenwen,97 hive,kimi,90 import org.apache.spark.rdd.RDD import org.apache.spark.sql.{DataFrame, SQLContext}

SparkCore对学生成绩的统计案例

bbrry的博客

11-02

3166

SparkCore对学生成绩的统计案例根据数据文件对数据进行分析，完成如下功能：（1）查询学生成绩表中的前5名；（2）输出单科成绩为100分的学生ID；（3）输出每位学生所有科目的总成绩。

spark的RDD练习（关于求学生的成绩）

lv_yishi的博客

11-11

1万+

给定数据如下：数据班级ID 姓名年龄性别科目成绩 12 张三 25 男 chinese 50 12 张三 25 男 math 60 12 张三 25 男 english 70 12 李四 20 男 chinese 50 12 李四 20 男 math 50 12 李四 20 男 english 50 12 王芳 19 女 chinese 7...

大数据Spark实战视频教程

11-10

大数据Spark实战视频培训教程：本课程内容涉及，Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

spark scala 对RDD进行过滤----filter使用方法

最新发布

04-02

### 关于 RDD 编程的基础知识 RDD（Resilient Distributed Dataset），即弹性分布式数据集，是 Spark 的核心概念之一。它是一个只读的分区记录集合，可以在集群节点之间高效分发并执行计算。 #### 创建 RDD 的主要方式创建 RDD 通常可以通过以下三种方式进行[^1]: 1. **通过集合创建 RDD**: 可以利用 `SparkContext.parallelize` 方法将内存中的集合转换为 RDD。 2. **通过文件创建 RDD**: 利用 `SparkContext.textFile` 方法可以从本地文件系统或者 HDFS 文件中加载数据到 RDD 中。 3. **通过其他 RDD 转换而来**: 基于现有的 RDD 进行各种算子操作后生成新的 RDD。由于 RDD 是不可变的数据结构，每次变换都会返回一个新的 RDD 实例。 --- ### 综合案例分析：学生平均成绩统计下面展示了一个具体的例子来说明如何使用 RDD 计算每位学生的平均成绩： ```scala val rdd: RDD[String] = sc.textFile("data/rdd/test3") rdd.map(line => (line.split(" ")(0), line.split(" ")(1).toInt)) .map(t => (t._1, (t._2, 1))) .reduceByKey((t1, t2) => (t1._1 + t2._1, t1._2 + t2._2)) .mapValues(t => t._1 / t._2.toFloat) .foreach(println) ``` 上述代码片段实现了如下功能： - 首先调用了 `sc.textFile` 将外部存储的学生分数文件转化为初始的 RDD 数据流； - 接着两次映射分别处理每一行字符串拆分为键值对学生名称及其对应的单科成绩，并进一步累加总成绩与科目数； - 使用 `reduceByKey` 对相同 key 下的成绩总数以及科目数量求和； - 最终再次映射得到每名学生的平均成绩并通过打印输出结果[^2]。 --- ### 更多关于 RDD 编程的知识点除了基本的操作外，在实际应用过程中还需要掌握一些高级特性： - **Transformation 和 Action**: Transformation 类似 map、filter 等用于定义中间状态变化；而 action 如 collect 或 saveAsTextFile，则触发真正的计算过程并将最终成果展现出来或保存下来。 - **持久化机制(Persistence)**: 当某些 RDD 多次被重复访问时，可以考虑将其缓存至内存 (`persist`) 来提升性能效率。 - **Shuffle 操作的影响**: 减少 shuffle 数量对于优化程序运行时间至关重要，因为这涉及到大量的磁盘 I/O 开销。 --- ### 总结以上介绍了有关 RDD 编程的一些基础理论及实践技巧，包括其构建途径、典型应用场景下的实现逻辑以及其他值得注意的技术要点等内容。希望这些信息能够帮助您更好地理解和运用这一强大工具！