Hadoop-Mapper和Reducer的知识点集合

最新推荐文章于 2025-06-18 00:04:05 发布

原创

最新推荐文章于 2025-06-18 00:04:05 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

本文详细介绍了Hadoop MapReduce中的Mapper和Reducer组件，包括它们的作用、过程及重要方法。Mapper负责将输入键值对映射为中间键值对，Reducer则对Mapper的输出进行分组和规约，生成最终结果。Mapper的输出可以被Reducer直接使用，如果Mapper和Reducer的输出格式相同，可以省略某些配置。Mapper包含setup、map、cleanup方法，Reducer主要包括Shuffle、Sort和Reduce三个阶段。Reducer的数量由job.setNumReduceTasks()控制，其输出结果数量等于Reducer个数，若无Reducer则由Mapper决定。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MapReduce主要分为两个过程：Map和Reduce

Mapper过程：Mapper<K1, V1, K2, V2 >

Reducer过程：Reducer<K2, V2, K3, V3 >

Mapper和Reducer的K2 V2需要保持一致：
当Mapper输出格式与Reducer的输出格式一样时
可以省略job.setOutputKeyClass()与job.setOutputValueClass()设置

Mapper
   将输入键/值对映射到一组中间键/值对。
   将 K1和V1 映射到 K2和V2
   映射是将输入记录转换为中间记录的单个任务。
       转换后的中间记录不需要与输入记录具有相同的类型。
       给定的输入对可能映射到零或多个输出对。
           执行一次map只对一行记录进行处理，K1V1和K2V2不需要具有相同类型

Hadoop map - reduce框架为作业的InputFormat生成的每个InputSplit生成一个map任务。
       Mapper实现可以通过JobContext.getConfiguration()访问作业的配置。
           InputFormat对文件进行切分，一般情况文件有几个块就会被切分成几个InputSplit，