Mapper与Reducer浅析（一）

最新推荐文章于 2025-06-18 00:04:05 发布

原创最新推荐文章于 2025-06-18 00:04:05 发布 · 8.2k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

11 篇文章

订阅专栏

本文深入探讨了Hadoop MapReduce中的Mapper和Reducer。Mapper作为数据处理阶段，其Mapper类需实现Mapper<K1,V1,K2,V2>接口，其中map方法处理键值对并生成新的键值对。Reducer则对Mapper输出进行排序和归并，通过reduce方法处理相同键的值。Partitioner在两者间起关键作用，重定向Mapper输出。" 92704438,8337295,WPF应用中的SQL分页查询实现,"['前端开发', 'WPF', '数据库', '存储过程', '服务端开发', '分页技术']

一、 Mapper

Mapper接口负责数据处理阶段，它采用的形式为Mapper<K1,V1,K2,V2>Java泛型，这里键类和值类分别实现WritableComparable和Writable接口。

Mapper只有一个方法—map，用于处理一个单独的键、值对。

Void map(K1key,V1 value,OutputCollector<K2,V2> output,Reporter reporter) throwsIOException该函数处理一个给定的键/值对（K1,V1）,生成一个键/值对（K2,V2）的列表(该列表也可能为空)，OutputCollector接收这个映射过程的输出，Reportor可提供对Mapper相关附加信息的记录，形成任务进度。

Mapper中包含的两个主要方法：

1、 void configure(JobConfjob) 该函数提取XML配置文件或者应用程序主类中的参数，在数据处理前调用。

2、 void close(),map任务结束前的最后一个操作，该函数完成所有的收尾工作，如：关闭数据库连接、打开文件等。

二、 Reducer

Reduce的实现和mapper一样必须首先在MapReduce基类上扩展，允许配置和清理，还必须实现Reducer接口，使其具有如下的单一方法：

Void reduce（K2key,Iterator<V2> values,OutputCollector<K3,V3> output,Reporterreporter） throwsIOException

当reducer任务接收来自各个mapper的输出时，它按照键/值对中键对输入数据进行排序，并将相同键的值归并。然后调用reduce()函数，并通过迭代处理那些与指定键相关联的值，生成一个（可能为空的）列表（K3,V3）.OutputCollector 接收reduce阶段的输出，并写入输出文件，Reporter可提供reducer相关的附加信息的记录，形成任务进度。

Partitioner：重定向Mapper输出（map和reduce两个阶段之间极其重要的步骤）。