Hadoop2.2.0伪分布式之MapReduce简介

一概念、

mapReduce是分布式计算模型。注：在hadoop2.x中MapReduce运行在yarn上，yarn支持多种运算模型。storm、spark等等，任何运行在JVM上的程序都可以运行在yarn上（我想这是因为它使用的是Container技术，且真正发挥了Container技术相对于Hyperviser（KVM、XEN）虚拟化的优势）.

MR有两个阶段组成，Map和Reduce，用户只需要实现Map()和reduce()两个函数（ 且这两个函数的输入和输出均是key -value的形式）即可实现分布式计算。代码示例略。

MapReduce设计框架：

在1.0中：,管理者：Job Tracker；被管理者：Task Tracker：

在2.0之后：管理者ResourceManager，被管理者：Node Manager。2.0之后使用YArn

YARN上的MapReduce比传统的MapReduce包括更多的实例：主要如下

• • 提交MapReduce作业的客户端
  • YARN资源管理器，负责协调集群上计算资源的分配，
  • YARN节点管理器，负责启动和监视集群中机器上的计算容器（Container）
  • MapReduce应用程序master，
  • 分布式文件系统HDFS，用来与其他实例间共享作业文件。

二、MapReduce执行过程：

其输入输出都在HDFS中，资源数据在HDFS中，计算结果同样存入HDFS中。

1、主要有三个阶段;map-》Shuffle-》reducer、

2、其中分区排序分组（按key值进行分组 ）都是在shuffle中完成的，Reducer会去想shuffle去取数据。

3、Map和reducer的输入输出都是key-value

1、Map任务执行步骤（简述）：

1、读取输入文件内容，解析成key、value对。对输入文件的每一行，解析成key、value对。key的值是当前行首字母的偏移量，value的值时当前行的内容

2、每一个键值对调用一次map函数。

3、 写自己的逻辑，对输入的key、value处理，转换成新的key、value输出。

4、对输出的key、value进行分区。

5、 对不同分区的数据，按照key进行排序、分组。相同key的value放到一个集合中。

6、(可选)分组后的数据进行归约。

2、Reduce任务执行步骤（简述）：

1、对多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点。

2、 对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑，对输入的key、value处理，转换成新的key、value输出。

3、 把reduce的输出保存到文件中

3、Shuffle的执行过程（概述）：由于篇幅较长故放在文章最后。