大数据学习笔记27：MR案例——多输入源处理成绩

最新推荐文章于 2020-01-25 22:07:11 发布

酒城译痴无心剑

最新推荐文章于 2020-01-25 22:07:11 发布

阅读量720

点赞数

CC 4.0 BY-SA版权

分类专栏：探索大数据-从Hadoop到Flink

本文链接：https://blog.youkuaiyun.com/howard2005/article/details/104082612

探索大数据-从Hadoop到Flink 专栏收录该内容

236 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Hadoop MapReduce处理来自两个不同格式文件的成绩数据，包括整合成绩、计算学生各科平均分。通过创建自定义的RecordReader、InputFormat、Mapper和Reducer，实现了多输入源的MR任务，最终展示了运行结果和项目下载链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

一、提出任务
二、准备工作
三、完成任务
四、项目下载

一、提出任务

原始成绩数据

成绩表原始数据有两个文件score1.txt与score2.txt。
score1.txt：

李文霞
数学 90
英语 98
张晓峰
数学 78
英语 87
郑小翠
数学 87
英语 90
李文霞
数学 67
英语 87
张晓峰
数学 59
英语 80
郑小翠
数学 79
英语 60

score2.txt:

李文霞
数学 68

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

酒城译痴无心剑

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

大数据学习笔记18：MR案例——分区汇总流量

howard2005的专栏

01-19

639

文章目录一、提出任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目CalculateFlow4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建FlowBean2、创建FlowMapper3、创建FlowReducer4、创建FlowDriver5、运行FlowDriver，查看结果6、程序存在的BUG7、创建自...

大数据讲课笔记5.7 MR案例—TopN

howard2005的专栏

10-10

847

1. 理解TopN分析法 2. 实现TopN分析法

参与评论您还未登录，请先登录后发表或查看评论

解读：MR多路径输入

weixin_30567225的博客

08-24

182

对于在一个MR-Job中使用多路径作为输入文件，一般有三种方法： 1).多次调用，加载不同路径： import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; //输入路径in01 in02 ...

MapReduce程序中的万能输入FileInputFormat.addInputPaths

lzq123_1的专栏

11-21

4293

写MR过程中经常会遇到多个源路径的输入，我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现， args[0]可以是folder1或者folder1，folder2只要以逗号分隔就可以了。这样在执行MR的时候，输入会将多个源路径全部多为map输入进行执行。另外一种实现单输入的方法（只支持一

大数据学习笔记28：MR案例——多输出源处理成绩

howard2005的专栏

01-25

671

文章目录一、提出任务原始成绩数据任务1、不同学生成绩情况生成不同结果文件任务2、每个结果文件统计不同学生各科平均分二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目MultiOutScore4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建ScoreMapper2、创建ScoreReducer3、创建ScoreDr...

大数据学习笔记14：MR案例——招聘数据分析

howard2005的专栏

01-15

1192

文章目录一、数据文件1、下载数据文件2、json文件行结构二、数据清洗与分析任务三、实现步骤1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目JobAnalysis4、修改pom.xml文件，添加依赖5、创建log4j.properties文件6、第一阶段——读取文件每行数据（1）编写JobMapper（2）编写MaxDriver（3）查看结果文件7、第二阶段——清洗错误数...

大数据学习笔记25：MR案例——自定义输入输出格式处理个人成绩

howard2005的专栏

01-23

767

文章目录一、提出任务二、自定义输入格式1、输入格式（InputFormat）2、记录读取器（RecordReader）三、自定义输出格式1、输出格式（OutputFormat）2、记录写入器（RecordWriter）四、准备工作五、完成任务六、项目下载一、提出任务原始数据：李文霞数学 90 英语 98 张晓峰数学 78 英语 87 郑小翠数学 87 英语 90 李文霞数学 67 英...

大数据学习笔记19：MR案例——汇总三科成绩表文件

howard2005的专栏

01-19

737

文章目录一、提出任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目CalculateTotalPoints4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建StudentBean类2、创建StudentMapper3、创建StudentReducer4、创建StudentDriver5、运行StudentDri...

Hadoop MapReduce 多路径输入与多个输入

SmartSi

01-11

7490

1. 多路径输入FileInputFormat是所有使用文件作为其数据源的 InputFormat 实现的基类，它的主要作用是指出作业的输入文件位置。因为作业的输入被设定为一组路径，这对指定作业输入提供了很强的灵活性。FileInputFormat 提供了四种静态方法来设定 Job 的输入路径：public static void addInputPath(Job job,Path path);...

（十）Mapper多输入源及Reduce多输出文件

qinshi965273101的专栏

12-04

959

目的 Mapper多个输入源，处理后变成一个输出。 reduce多输出源，根据输出的数据，按照自己的要求来决定，输出到不同的文件里。案例有以下两个文件，作为输入源（Mapper处理）最后把每个人的成绩打印到不同的文件里（Reduce处理） tom math 90 english 98 jary math 78 english 87 rose math 87 english 90...

mr任务之从多个Hbase表中读取数据进行处理

maixia24的专栏

08-05

5242

从两个不同的Hbase表中读取数据：

5.MR多文件的输入输出

爱[黎姿]的程序员

12-11

1262

1.旧API: org.apache.hadoop.mapred.lib.MultipleOutputFormat||MultipleInputFormat和org.apache.hadoop.mapred.lib.MultipleOutputs||MultipleInputs MultipleOutputFormat allowing to write the output

大数据学习笔记10：MR案例——词频统计

howard2005的专栏

01-08

1675

文章目录一、词频统计设计思路1、映射阶段（Map）2、归并阶段（Reduce）（1）不用合并器（Combiner）（2）采用合并器（Combiner）二、词频统计实现步骤1、创建Maven项目WordCount 词频统计是MapReduce的入门案例，类似于学习程序设计的“Hello World”案例。一、词频统计设计思路 1、映射阶段（Map） 2、归并阶段（Reduce）（1）不用合并器...

大数据学习笔记26：MR案例——双重排序（先按月份升序，再按利润降序）

howard2005的专栏

01-24

1004

文章目录一、提出任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目DoubleSort4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建Employee实体类2、创建DoubleSortMapper2、创建DoubleSortDriver3、运行DoubleSortDriver，查看结果4、创建DoubleSo...

Hadoop生态圈技术光速入门（MR实现、MR二次排序、PageRank、社交好友推荐算法）-张勇-专题视频课程...

02-01

340

本课程从基础的环境搭建到更深入的知识学习都会有一个比较好的讲解。帮助学员上手hadoop生态圈的大数据处理框架的使用，使用hadoop生态圈进行一些模块化、项目功能化的开发，主要包括安装部署hadoop、hive、hbase、hue、oozie、flume等生态圈相关软件环境的搭建，并且在已搭建好的环境上进行相关知识点的讲解和功能的开发。...

解决宿主机Ping不通虚拟机的问题