Spark RDD算子案例：两种方式计算学生总分

已于 2022-06-25 00:12:24 修改
阅读量3.3k 收藏
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Spark基础学习笔记 文章标签： spark scala
于 2022-03-13 10:51:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/123454974
该博客介绍了一个使用Spark和Scala计算学生总分的任务。首先，通过启动HDFS和Spark服务进行准备工作。接着，任务在Spark Shell中直接操作RDD完成，然后详细讲解了如何创建Scala Maven项目，配置依赖，编写并运行程序。最后，将打包后的jar文件提交到Spark服务器，并在HDFS上查看并下载程序运行结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、提出任务

  • 针对成绩表，计算每个学生总分
姓名 语文 数学 英语
张钦林 78 90 76
陈燕文 95 88 98
卢志刚 78 80 60

二、准备工作

（一）启动HDFS服务

  • 执行命令：start-dfs.sh
    在这里插入图片描述

（二）启动Spark服务

  • 进入Spark的sbin目录执行命令：./start-all.sh
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark基础学习笔记17：掌握RDD算子
howard2005的专栏
03-12 2719
RDD转化算子、RDD行动算子
Spark基础学习笔记：掌握RDD算子
py20010218的博客
06-19 522
Spark基础学习笔记：掌握RDD算子
RDD编程初级实践
m0_59280520的博客
06-13 500
需求描述 Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。 spark用于实现快速通用的集群计算平台，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行
Spark RDD深度解析-RDD计算流程
weixin_33989058的博客
09-07 535
Spark RDD深度解析-RDD计算流程 摘要 RDD（Resilient Distributed Datasets）是Spark的核心数据结构，所有数据计算操作均基于该结构进行，包括Spark sql 、Spark Streaming。理解RDD有助于了解分布式计算引擎的基本架构，更好地使用Spark进行批处理与流计算。本文以Spark2.0源代码为主，对RDD的生成、计算流程、加载顺序等...
Spark RDD计算机制剖析
TragicJun的专栏
03-17 513
通用的分布式计算框架，为了降低学习和使用门槛，便于用户直观理解，一般会尽量简化上层抽象（姑且定义为逻辑层），RDD之于Spark就是最核心的逻辑层抽象。然而，当你深入框架内部实现（对应来说就是物理层），通常会发现它比逻辑层复杂得多，仿佛是打开了另一扇窗。对Spark RDD来说莫不如此，让我们来看看它在物理层的另一面。 ...
SparkCore对学生成绩的统计案例
bbrry的博客
11-02 3156
SparkCore对学生成绩的统计案例 根据数据文件对数据进行分析，完成如下功能： （1）查询学生成绩表中的前5名； （2）输出单科成绩为100分的学生ID； （3）输出每位学生所有科目的总成绩。
Spark基础学习：掌握RDD算子（2）
weixin_54425212的博客
06-16 361
按键归约算子 可能存在问题：在Windows下的IDEA中访问HDFS报错下载对应版本的，放在hadoop安装目录的子目录里配置hadoop环境变量 创建Maven项目 - SparkRDDDemo 将目录改为在文件里添加依赖和构建插件 在资源文件夹里创建日志属性文件 创建包 运行程序，查看结果 运行程序，查看结果 运行程序，查看结果...
Spark基础学习笔记14：掌握RDD算子
qq_56244269的博客
06-13 626
目录一、RDD算子二、准备工作（一）准备文件1、准备本地系统文件2、把文件上传到HDFS（二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark Shell三、转化算子（一）映射算子 - map()1、映射算子功能2、映射算子案例（二）过滤算子 - filter()1、过滤算子功能2、过滤算子案例（三）扁平映射算子 - flatMap()1、扁平映射算子功能、扁平映射算子案例（四）按键归约算子 - reduceByKey()1、按键归约算子功能2、按键归约算子案例
Spark基础学习——RDD算子
qq_56238454的博客
06-15 826
Spark提供了丰富的用于操作RDD的方法，这些方法被称为算子。一个创建完成的RDD只支持两种算子：转化算子和行动算子。
Speak-RDD基本操作
weixin_66087662的博客
03-31 920
2.将数据转换成（ID，score）的键值对，通过reduceByKey的方法统计总成绩并输出结果。2.通过filter操作过滤出成绩为100分的学生数据，并且通过map操作提取学生ID。（二）RDD转换找出单科成绩为100的学生ID，最终的结果需要集合到一个RDD中。（三）RDD转换输出每位学生的总成绩，要求将两个成绩表中学生ID相同的成绩相加。5.通过sortBy对元组中的成绩列降序排序，排序位置是每个元组的第3位的成绩。6.通过take操作取出每个RDD的前5个值就是成绩排在前5的学生。
SparkRDD版的Wordcount求和
01-07
package com.spark.com import org.apache.spark.storage.StorageLevel import org.apache.spark.{SparkConf, SparkContext} /** * TODO * * @author 徐磊 * @email wc199608203213@136.com * @data2020/01/07 下午 05:03 */ object SparkWordCount { def main(args: Array[String]): Unit = { val conf= new Spar
【Spark学习】RDD基础练习
xiexianyou666的博客
04-26 6379
需求 计算每个学生这两门课程的总成绩，并且排序输出前5名 学号 课程 分数 1001 大数据基础 90 1002 大数据基础 94 1003 大数据基础 100 1004 大数据基础 99 1005 大数据基础 90 1006 大数据基础 94 1007 大数据基础 100 1008 大数据基础 93 1009 大数据基础 89 1010 大数据基础 78 1011 大数据基础 91 10...
大数据实时处理3.8 Spark RDD典型案例
m0_73706260的博客
05-11 576
RDD经典案例
Spark & Scala scala编程案例:统计学生成绩
热门推荐
Beyond_Nothing
10-04 1万+
Scala 统计学生成绩 题干 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 Id gender Math English Physics 301610 male 80 64 78 301611 female 65 87 58 … 给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采用函 数式编程，统计出各
Spark之RDD编程快速入门
Stay Focused And Work Hard !!!
08-03 3393
一、RDD的创建 scala> val a = sc.parallelize(List("dog", &
MySQL-50道经典sql题汇总
qq_41835813的博客
08-31 7813
建表 DROP TABLE IF EXISTS `course`; CREATE TABLE `course` ( `CId` varchar(10) default NULL, `Cname` varchar(10) default NULL, `TId` varchar(10) default NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8; -- ---------------------------- -- Table structure fo.
Scala编程初级实践-统计学生成绩
最新发布
qq_52147555的博客
10-29 2135
统计学生成绩
Spark练习之Transformation操作开发
爱是与世界平行
06-19 538
Spark练习之Transformation操作开发一、map：将集合中的每个元素乘以21.1 Java1.2 Scala二、filter：过滤出集合中的偶数2.1 Java2.2 Scala三、flatMap：将行拆分为单词3.1 Java3.2 Scala四、groupByKey：将每个班级的成绩进行分组4.1 Java2.2 Scala五、reduceByKey：统计每个班级的总分5.1 J...
使用JAVA连接hadoop实现----MapReduce求出学生对应的成绩（学生总成绩）
weixin_58078092的博客
09-23 1435
这里学生信息表的顺序为：学生号，姓名，年龄，性别，班级 学生成绩表的顺序为：学生号，科目，成绩； 第一步： package com.shujia.hadoop; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import or
Spark RDD 算子详解：实现原理与执行流程分析
Spark 1.4.1 RDD 算子详解 ...在 Spark 中，RDD 算子是非常重要的概念，它提供了一种灵活的方式来处理和转换大规模数据集。通过对 RDD 算子的理解和应用，我们可以更好地处理大规模数据，并提高数据处理的效率和性能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值