大数据学习笔记27：MR案例——多输入源处理成绩

酒城译痴无心剑

于 2020-01-25 11:38:09 发布

阅读量720

点赞数

CC 4.0 BY-SA版权

分类专栏：探索大数据-从Hadoop到Flink

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104082612

236 篇文章 ¥19.90 ¥99.00

订阅专栏

本文介绍了如何使用Hadoop MapReduce处理来自两个不同格式文件的成绩数据，包括整合成绩、计算学生各科平均分。通过创建自定义的RecordReader、InputFormat、Mapper和Reducer，实现了多输入源的MR任务，最终展示了运行结果和项目下载链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、提出任务

成绩表原始数据有两个文件score1.txt与score2.txt。
score1.txt：

李文霞
数学 90
英语 98
张晓峰
数学 78
英语 87
郑小翠
数学 87
英语 90
李文霞
数学 67
英语 87
张晓峰
数学 59
英语 80
郑小翠
数学 79
英语 60

score2.txt:

李文霞
数学 68

了解本专栏