Hadoop学习之MapReduce(二)

文宇肃然

于 2014-05-07 17:11:09 发布

阅读量682

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop分布式计算解决方案集锦

本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/25230789

hadoop分布式计算解决方案集锦专栏收录该内容

85 篇文章 ¥19.90 ¥99.00

订阅专栏

本文深入探讨Hadoop MapReduce框架，重点介绍了Mapper和Reducer类，以及它们在处理输入数据和生成输出时的角色。Mapper将输入键值对转换为中间键值对，Reducer则根据键对中间值进行聚合。此外，还讨论了Mapper和Reducer的数量优化，以及它们如何影响作业效率。文中还提到了Mapper和Reducer的Context对象，用于任务的输入输出操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在通过WordCount的例子直观地了解了MapReduce框架的作业如何编写后，现在对MapReduce框架中的关键接口或者类进行深入地地探索和学习。主要讲解Hadoop1.x中的接口和类，也就是org.apache.hadoop.mapreduce包中的接口和类，上面介绍的WordCount作业也是实现了这个包中的接口和类。首先会介绍Mapper<KEYIN,VALUEIN,KEYOUT,VALUEOUT>和Reducer<KEYIN,VALUEIN,KEYOUT,VALUEOUT>类，应用程序一般通过集成这两个类来实现map和reduce方法，而不同于之前版本中实现Mapper和Reducer接口。然后会介绍其它的接口或者类，包括InputFormat<K,V>、Job、Configuration 、OutputFormat<K,V>、Partitioner<KEY,VALUE>、Context、ToolRunner、Tool、Configured 等。最后通过介绍MapReduce的一些有用的特性，比如DistributedCache，结束MapReduce的学习。

类Mapper将输入的键值对映射为中间键值对的集合。Maps是独立的任务，将输入的记录转化为中间记录，这些转化而来的中间记录不需要和输入记录保持一致的类型。一个给定的输入键值对可能映射为零或者多个输出键值对。MapReduce框架为每个由作业的InputFormat产生的Inp

了解本专栏