大数据学习笔记25：MR案例——自定义输入输出格式处理个人成绩

最新推荐文章于 2022-12-19 15:36:08 发布

酒城译痴无心剑

最新推荐文章于 2022-12-19 15:36:08 发布

阅读量767

点赞数

CC 4.0 BY-SA版权

分类专栏：探索大数据-从Hadoop到Flink

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104067464

探索大数据-从Hadoop到Flink 专栏收录该内容

236 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客介绍了如何在大数据场景下，通过自定义输入输出格式来处理个人成绩数据。作者详细讲解了如何创建ScoreRecordReader、ScoreInputFormat、ScoreRecordWriter、ScoreOutputFormat等类，以及在MapReduce作业中应用这些自定义类的过程。最终，虽然运行结果没有直接显示，但通过HDFS Explorer查看到了结果文件的内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、提出任务
二、自定义输入格式
- 1、输入格式（InputFormat）
- 2、记录读取器（RecordReader）
三、自定义输出格式
- 1、输出格式（OutputFormat）
- 2、记录写入器（RecordWriter）
四、准备工作
五、完成任务
六、项目下载

一、提出任务

原始数据：

李文霞
数学 90
英语 98
张晓峰
数学 78
英语 87
郑小翠
数学 87
英语 90
李文霞
数学 67
英语 87
张晓峰
数学 59
英语 80
郑小翠
数学 79
英语 60

统计每个学生各科总分，格式如下：

[张晓峰]

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

酒城译痴无心剑

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

大数据学习笔记10：MR案例——词频统计

howard2005的专栏

01-08

1670

文章目录一、词频统计设计思路1、映射阶段（Map）2、归并阶段（Reduce）（1）不用合并器（Combiner）（2）采用合并器（Combiner）二、词频统计实现步骤1、创建Maven项目WordCount 词频统计是MapReduce的入门案例，类似于学习程序设计的“Hello World”案例。一、词频统计设计思路 1、映射阶段（Map） 2、归并阶段（Reduce）（1）不用合并器...

大数据学习笔记22：MR案例——双MR统计总利润并排序

howard2005的专栏

01-20

930

文章目录一、提出任务二、解题思路1、第一个mr计算每个人总利润2、第二个mr对总利润进行排序三、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目DoubleMR4、修改pom.xml文件，添加依赖5、创建log4j.properties文件一、提出任务原始数据： 1 陆晓红 2850 1000 2 陆晓红 3566 2000 3 陆晓红 4555 3000 1 ...

参与评论您还未登录，请先登录后发表或查看评论

MR案例（3）：计算学生成绩（总分和平均分）

Kox_233的博客

12-19

1615

MR案例：计算学生成绩（总分和平均分）

MR学生成绩等级统计

FantomeWork

06-20

483

MR学生成绩等级统计数据： English,liudehua,80 English,lijing,79 English,nezha,85 English,jinzha,60 English,muzha,71 English,houzi,99 English,libai,88 English,hanxin,66 English,zhugeliang,95 Math,liudehua,74 Mat...

大数据-MR的运行原理

@xiao黑的博客

01-05

1374

对上诉图片的详细解释计算切片：有几个切片就有几个map task 环形缓存区：经过map函数的逻辑处理后的数据输出之后，会通过OutputConllector收集器将数据收集到环形缓存区保存环形缓存区的大小默认100M 当保存的数据达到80%时就将缓存区的数据溢出到磁盘上保存溢出环形缓存区的数据达到其容量的80%时就会溢出到磁盘上进行保存在此过程中程序会对数据进行分区(默认H...

hadoopMR自定义输入类型

weixin_30307921的博客

11-14

164

hadoop中的输入输出数据类型： BooleanWritable:标准布尔型数值 ByteWritable:单字节数值 DoubleWritable:双字节数值 FloatWritable:浮点数常用的： IntWritable:整型数 LongWritable:长整型数 Text:使用UTF8格式存储的文本 NullWritable:当<key, value>中...

手写MR之自定义输入解决小文件问题（sequenceFile）

Mr.Zheng的博客

04-09

400

前言无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。需求将多个小文件合并成一个SequenceFile文件（SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件格式），SequenceFile里面存储着多个文件，存储的形式为文件路...

大数据学习笔记20：MR案例——按电影热度值排序

howard2005的专栏

01-19

1123

文章目录一、提出任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目SortMovie4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务（方法一）1、创建Movie2、创建MovieMapper3、创建MovieDriver4、运行MovieDriver，查看结果5、创建MovieReducer6、修改MovieDriv...

大数据讲课笔记5.5 MR案例——倒排索引

howard2005的专栏

10-09

942

1. 理解倒排索引； 2. 实现倒排索引

Mr程序数据处理流程

weixin_45480444的博客

10-02

1069

文章是本人基于对MapReduce的理解；如有误，随时交流；Hadoop分布式文件系统的核心组件HDFS，HDFS的核心是MapReduce，而MapReduce的核心是shuffle；可想而知，MapReduce有多重要；Spark是基于MapReduce，针对MapReduce的shuffle进行一系列的基于内存的计算、以RDD的描述信息对数据进行处理、更高级的API的计算引擎；

为数据而生 大数据创新实践

04-30

为数据而生 大数据创新实践

Hadoop的输入输出格式（重要）

Keep writing codes

02-19

2781

首先说一下Hadoop中预定义的Mapper 与Reducer InputFormat接口决定了输入文件如何被hadoop分块(split up)与接受。 TextInputFormat是InputFormat的默认实现，对于输入数据中没有明确的key值时非常有效，TextInputFormat返回的key值为字符在输入块中的行数，value为这行的内容。其他Inp

大数据量Excel导出使用SXSSFWorkbook对象临时文件位置实现自定义配置

qq_41132489的博客

08-21

8047

大数据量Excel导出使用SXSSFWorkbook对象临时文件位置实现自定义配置SXSSFWorkbook大体介绍关于这个临时文件默认路径及实现自定义配置的实现 SXSSFWorkbook大体介绍 SXSSFWorkbook是poi中专门做大数据量导出的一个类吧。它的构造中可以传入一个数值，超过这个数值的行将被写入临时文件。这个数值指的是我们生成此EXCEL中数据的行数。（是行数不是数据的行数）...

MR四个数据处理阶段

china_demon的专栏

06-18

3134

hadoop生态系统学习之路（四）MR支持的输入文件格式以及输出文件格式

蛋导的平凡之路

03-29

2755

在上一篇博文中，笔者执行mr时，输入文件是.txt格式的。其实，还可以是压缩格式。为什么要使用压缩格式呢？文件压缩可以减少存储文件所需要的磁盘空间，并加速数据在网络和磁盘上的传输。然后，MR又是怎么判断你的输入目录中的文件是压缩还是非压缩的呢？MR通过CompressionCodecFactory来推断CompressionCodec时，如果输入文件是压缩的，那么在根据文件扩展名推断出相应的

Hadoop MR 数据切片与输入格式化

Artistic Life

04-04

560

切片 MapReduce 执行中是以mapTask 为单位对数据进行处理, mapTask 的个数与操作数据段是由切片决定的切片是在单个文件的基础上通过一些机制设定的默认 MapReduce 使用 TextInputFormat 对数据进行读取分片, 切片大小默认为 block 大小切片过大会造成按个 mapTask 执行时间长,不能充分利用 hadoop 集群 data...

MR大数据去重 & MR流程

zhanggf的博客

01-22

953

居然被问到MR，好久没写MR了，此处凭借记忆和手记整理一、大数据去重 1. 以wc举例，来说明MR的过程 StringTokenizer(String str) ：构造一个用来解析 str 的 StringTokenizer 对象。java 默认的分隔符是空格("")、制表符(\t)、换行符(\n)、回车符(\r)。 public class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

大数据之Hadoop_MapReduce自定义输出和输入类型

WuBoooo的博客

08-21

645

自定义输出和输入类型介绍我们在使用MapReduce处理需要两次聚合的数据时,我们会进行两次输出,第二次输出的结果是读取第一次输出的结果进程聚合处理的,但我们只需要看到第二次的聚合的结果就可以了,第一次聚合的结果我们是否能看懂都无所谓, 此时我们在进行第一次输出时,我们可以将输出类型由原来(当我们未自定义时默认的输入和输出类型都是TextInputFormat和TextOutputFormat)改为SequenceFileOutputFormat,Sequence相对于Text类型处理速度较快,且更节约内