大数据学习笔记25：MR案例——自定义输入输出格式处理个人成绩

酒城译痴无心剑

于 2020-01-23 22:18:59 发布

阅读量764

点赞数

CC 4.0 BY-SA版权

分类专栏：探索大数据-从Hadoop到Flink

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104067464

探索大数据-从Hadoop到Flink 专栏收录该内容

236 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客介绍了如何在大数据场景下，通过自定义输入输出格式来处理个人成绩数据。作者详细讲解了如何创建ScoreRecordReader、ScoreInputFormat、ScoreRecordWriter、ScoreOutputFormat等类，以及在MapReduce作业中应用这些自定义类的过程。最终，虽然运行结果没有直接显示，但通过HDFS Explorer查看到了结果文件的内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、提出任务
二、自定义输入格式
- 1、输入格式（InputFormat）
- 2、记录读取器（RecordReader）
三、自定义输出格式
- 1、输出格式（OutputFormat）
- 2、记录写入器（RecordWriter）
四、准备工作
五、完成任务
六、项目下载

一、提出任务

原始数据：

李文霞
数学 90
英语 98
张晓峰
数学 78
英语 87
郑小翠
数学 87
英语 90
李文霞
数学 67
英语 87
张晓峰
数学 59
英语 80
郑小翠
数学 79
英语 60

统计每个学生各科总分，格式如下：

[张晓峰]

了解本专栏

超级会员免费看