Spark RDD实训4：计算总成绩

最新推荐文章于 2024-12-04 17:08:12 发布

原创

最新推荐文章于 2024-12-04 17:08:12 发布 · 700 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #java

这篇博客详细介绍了如何使用Spark和Scala处理成绩数据。首先在/home创建并上传成绩文件scoress.txt到HDFS，然后创建Maven项目CalulateScoreSum，改用Scala目录。接着配置依赖和构建插件，确保Spark版本与Scala SDK匹配，创建日志属性文件，最后编写CalculateScoreSum单例对象进行成绩总和计算，并在本地运行验证结果。

一、提出任务

二、完成任务

（一）在/home中写入成绩文件scoress.txt

（二）将成绩文件scoress.txt上传到HDFS

（三）新建Maven项目 -- CalulateScoreSum

一、提出任务

成绩表有三条记录，包含四个字段

姓名	语文	数学	英语
刘志斌	85	76	95
张得之	84	72	66
马云飞	95	84	95

成绩表文件--scoress.txt

刘志斌 85 76 95
张得之 84 72 66
马云飞 95 84 95

使用RDD得到文件results.txt

二、完成任务

启动集群的HDFS与Spark

（一）在/home中写入成绩文件scoress.txt

（二）将成绩文件scoress.txt上传到HDFS

（三）新建Maven项目 -- CalulateScoreSum

创建成功

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

balabalalibala

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Spark RDD案例：计算总成绩

howard2005的专栏

05-24

939

读取HDFS上成绩文件，利用RDD统计总成绩，结果写入HDFS文件

8 | Spark计算学生的平均分数

微信号：RunsenLiu

09-02

830

我们有一组学生的姓名和分数数据，我们需要计算每个学生的平均分数。

参与评论您还未登录，请先登录后发表或查看评论

Spark RDD案例：计算总分

m0_63797754的博客

06-23

654

SparkRDD案例：计算总分

SparkRDD 案例：计算总成绩

CITTB的博客

06-21

541

积极

SparkRDD ：计算平均分

s_caiji的博客

06-17

1643

Spark ：计算平均分

Spark实训

最新发布

2201_75620196的博客

12-04

1309

介绍本实训的基本内容，描述知识目标、，以及本实训的预期效果等。1、知识目标（1）了解spark概念、基础知识、spark处理的全周期，了解spark技术是新时代对人才的新要求。（2）掌握Linux、hadoop、spark、hive集群环境的搭建、HDFS分布文件系统的基础知识与应用。（3）了解 RDD原理，掌握Scala的编程语言。（4）了解Hive，学习Hive集群的搭建。（5）了解spark SQL结构，搭建集群，熟练使用HiveQL语句2、技能目标。

Spark中RDD练习-统计学生数据

weixin_58305115的博客

10-10

706

Spark的RDD中API提供了丰富的转换操作,但是不直接支持SQL风格的like操作符.使用Scala 的startsWithendsWith或contains方法，或者使用 Python 的或方法。使用正则表达式:在filter转换中使用正则表达式来匹配模式。例如，使用 Scala 的或 Python 的。

大数据编程实验：RDD编程

m0_64642912的博客

12-06

2213

针对问题(6)，考虑使用嵌套形式的数据结构来存储，从该数据集中映射出课程名称和分数，对课程出现次数用字典进行统计：(课程名称, (分数, 1))使用reduceByKey方法将分数和方法加，得到新的数据：(课程名称,(总分数,总人数))于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；

头歌：RDD的创建 -Java

weixin_62399938的博客

04-29

1223

Spark会将集合中的数据拷贝到集群上去，形成一个分布式的数据集合，也就是一个RDD。(1)mapToPair：此函数会对一个RDD中的每个元素调用f函数，其中原来RDD中的每一个元素都是T类型的，调用f函数后会进行一定的操作把每个元素都转换成一个<K2,V2>类型的对象。collect() ：以数组的形式返回RDD中的所有元素，收集分布在各个worker的数据到driver节点。(2) reduceByKey() ：对元素为RDD[K,V]对的RDD中Key相同的元素的Value进行聚合。

Spark RDD计算总分与平均分

梁辰兴的博客

06-06

2706

针对成绩表，计算每个学生总分和平均分读取成绩文件，生成lines；定义二元组成绩列表；遍历lines，填充二元组成绩列表；基于二元组成绩列表创建RDD；对rdd按键归约得到rdd1，计算总分；将rdd1映射成rdd2，计算总分与平均分。执行命令：start-dfs.sh 执行命令：start-all.sh 在/home里创建scores.txt文件在HDFS上创建/scores/input目录，将成绩文件上传至该目录执行命令：执行命令：执行命令：执行上述代码执行命令：执行命令：执行命令：S

spark实验5 rdd编程2.doc

01-10

spark实验5 rdd编程2.doc

spark RDD 小实验测试

大模型与Agent智能体

01-06

1228

class SparkContext(clientDriver:String){ var scname = clientDriver } abstract class RDD(var sc:SparkContext){ def persist(level:String){} } class myRDD(var myRDDsc:SparkContext) extends RDD(myR

实验十五 Spark实验：RDD综合实验

WistWill的博客

04-13

4437

实验指导： 15.1 实验目的 1．通过Spark-shell的操作理解RDD操作； 2．能通过RDD操作的执行理解RDD的原理； 3．对Scala能有一定的认识。 15.2 实验要求在实验结束时能完成max，first，distinct，foreach等api的操作。 15.3 实验原理 RDD(Resilient Distributed Datasets，弹性分布式数据...

spark实现不同班级不同学科的总成绩统计-scala

xuanwenchao的专栏

05-18

3416

spark实现不同班级不同学科的总成绩统计-scala1. The first,创建一个scala project in idea for mac2. 模拟创建各班各科成绩的信息数据3. 针对上面的数据进行分析4. 程序的运行结果如下 1. The first,创建一个scala project in idea for mac 当前IDEA中使用的SPARK包是：spark-assembly-1....

在SPARK中实现RDD编程

weixin_47797671的博客

06-10

1929

1）pyspark交互式编程（1）该系总共有多少学生（代码及其结果如下图所示）；（2）该系共开设了多少门课程（代码及其结果如下图所示）；（3）Tom同学的总成绩平均分是多少（代码及其结果如下图所示）；（4）求每名同学的选修的课程门数（代码及其结果如下图所示）；（5）该系DataBase课程共有多少人选修（代码及其结果如下图所示）；（6）各门课程的平均分是多少（代码及其结果如下图所示）；（7）使用累加器计算共有多少人选了DataBase这门课（代码及其结果如下图所示）： 2）编写独立应用程序实现

spark的RDD练习--求学生的成绩

qq_24534199的博客

07-26

3776

数据：班级ID 姓名年龄性别科目成绩 12 张三 25 男 chinese 50 12 张三 25 男 math 60 12 张三 25 男 english 70 12 李四 20 男 chinese 50 12 李四 20 男 math 50 12 李四 20 男 english 50 12 王芳 19 女 chinese 70 12 王芳 19 女 math 70 12 王芳 1...

实验手册 - 第2周Spark RDD

m0_52331159的博客

04-13

4434

通过findspark找到并导入pyspark创建SparkContext对象读取数据源，生成RDD对象（1）从内存读取数据源（2）从文件读取数据源sc.textFile(r’文件路径’)对RDD进行Tranformation操作对RDD进行Action操作。

基于Spark的学生成绩分析系统