Hadoop经典案例Spark实现（四）——平均成绩

最新推荐文章于 2025-06-09 00:56:11 发布

kwu_ganymede

最新推荐文章于 2025-06-09 00:56:11 发布

阅读量6k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： Spark Hadoop Hadoop经典案例Spark实现文章标签： hadoop spark 平均成绩

本文链接：https://blog.youkuaiyun.com/kwu_ganymede/article/details/50482948

本文介绍了如何运用Hadoop MapReduce框架，结合Spark实现计算平均成绩的案例。在Map阶段，数据经过partition处理后发送到Reducer。Reducer通过Context的write方法将最终结果写入文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop经典案例Spark实现（四）——平均成绩

一、案例分析：
1、需求分析
对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。
要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。

2、原始数据
1）math：

张三    88
李四    99
王五    66
赵六    77

2）china：

张三    78
李四    89
王五    96
赵六    67

3）english：

张三    80
李四    82
王五    84
赵六    86

样本输出：

张三    82
李四    90
王五    82
赵六    76

3、设计思考
Map处理的是一个纯文本文件，文件中存放的数据时每一行表示一个学生的姓名和他相应一科成绩。Mapper处理的数据是由InputFormat分解过的数据集，
其中 InputFormat的作用是将数据集切割成小数据集InputSplit，每一个InputSplit将由一个Mapper负责处理。此外，InputFormat中还提供了一个RecordReader的实现，
并将一个InputSplit解析成<key,value>对提供给了map函数。InputFormat的默认值是TextInputFormat，它针对文本文件，按行将文本切割成InputSlit，
并用 LineRecordReader将InputSplit解析成<key,value>对，key是行在文本中的位置