Hadoop并行计算框架核心组件MapReduce

                                                            Hadoop核心组成框架MapReduce框架

MapReduce的工作原理主要是: 通过Map任务读取HDFS中的数据块,这些数据块由Map任务以完全并行的方式处理;然后将Map任务的输出结果进行排序后输入到Reduce任务中;最后Reducer任务将计算的结果输出到HDFS文件系统中。

Map任务中的map()方法和Reduce任务中的reduce()方法需要用户自己实现,二其他操作MapReduce组件已经帮助用户实现了。

通常,MapReduce计算节点和数据存储节点是同一个节点,即MapReduce框架和HDFS文件系统运行在同一组节点上。这样的配置可以使MapReducer框架在有数据的节点上高效地调度任务,避免过度消耗集群的网络带宽。

MapReduce是Hadoop的一个核心组成框架,使用该框架编写的应用程序能够以一种可靠的,容错的方式并行处理大型集群(数千个节点)上的大量数据(TB级别以上),也可以对大数据进行加工,挖掘和优化等处理。

一个MapReducer任务主要包括两部分: Map任务和Reduce任务。Map任务负责对数据的获取,分割与处理,器核心执行方法为map()方法;Reduce任务负责对Map任务的结果进行汇总,器核心执行方法为reducer()方法。MapReduce将并行计算过程高度抽象到了map()方法和reduce()方法中,程序员只负责这两个方法的编写工作,而并行程序中的其他复杂问题(如分布式存储,工作调度,负载均衡,容错处理等)均可由MapReduce框架代为处理,程序员完全不用操心。

设计思想

MapReduce的设计思想是,从HDFS中获得输入数据,将输入的一个大的数据集分割成多个小数据集,然后并行计算这些小数据集,最后将每个小数据集的结果进行汇总,得到最终的计算结果,并将结果输出到HDFS中,如下图所示:

                                                   

在MapReduce并行计算中,对大数据集分割后的小数据集的计算,采用的是map()方法,各个map()方法对输入的数据进行并行处理,对不同的输入数据产生不同的输出结果;而对小数据集最终结果的合并,采用的是reduce()方法,各个reduce()方法也各自进行并行计算,各自负责处理不同的数据集合。但是在reduc