本文介绍了Hadoop MapReduce框架的基本概念、工作原理以及如何编写和运行MapReduce应用程序。通过WordCount示例详细阐述了MapReduce作业的输入输出过程，包括Map和Reduce函数的实现以及如何在Hadoop环境中执行作业。
在学习过了HDFS架构和Hadoop的配置管理后，现在学习MapReduce应用程序的编写和管理。首先简单介绍一下MapReduce框架。
MapReduce是一个易于编写程序的软件框架，这些应用程序以可靠的、容错的模式并行的运行在很大规模的商用硬件集群上（数以千计的节点），处理超大数量的数据（超过TB的数据集）。一个MapReduce作业通常将输入数据集分割为独立的数据块，这些数据块被map任务以完全并行的方式处理，MapReduce框架整理map任务的输出结果，然后map的输出结果做为reduce任务的输入。典型地，作业的输入和输出都存储在文件系统中。MapReduce框架处理调度任务，监控任务和重新执行失败的任务。
通常地，计算节点和存储节点是相同的节点，也就是MapReduce框架和HDFS运行在相同的节点集之上。这种配置方式允许MapReduce框架在数据存放的节点上有效地调度任务，导致集群中非常高的带宽传输率。MapReduce由单一的主JobTracker和每个集群节点上一个的从TaskTracker组成。主节点负责调度作业在从节点上的组件任务，监控任务和重新执行失败的任务，从节点执行由主节点指示的任务。
最低限度地，应用程序指定输入输出位置，通过实现恰当地的接口和（或者）抽象类提供map和reduce函数，这些信息和其它的作业参数组成了作业的配置管理（jobconfiguration&#x
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
