爱[黎姿]的程序员

Why MapReduce?一.将计算移动到数据二.Divide and Conquer(分而治之)：MapReduce执行流程:Map映射分发Reduce聚合傻逼图：好图：Yarn执行资源分配框架结构：ResourceManager (Master)

一个输入分片(split)就是由单个map 处理的输入块。每一个map操作只处理一个输入分片。每个分片被划分为若干个记录,每条记录就是一个键/值对,map一个接一个地处理每条记录。(输入分片—>若干个记录—>每条记录)注：(一个split对应一个map)默认一个split对一个块，所以导致一个块一个map的概念。但split数可改变，（见下）

下面我们看官方给出的例子：1：将Block块分割成三个Split2：每个Split对应一个mapper3: 三个mapper输出结果进行Shuffling,每个map的输出只是简单的key-value而非key-valuelist，所以洗牌的工作就是将map输出转化为reducer的输入的过程。在reducer开始之前shuffle要做的事情分为

一个完整的Hadoop MapReduce过程可以描述如下：Client端提交MapReduce Job到JobTracker;JobTracker调度Job, 生成MapTask和ReduceTask;各TaskTracker接收MapTask和ReduceTask;TaskTracker为MapTask和ReduceTask启动新的Child Task JVM;Child Task

1.旧API:org.apache.hadoop.mapred.lib.MultipleOutputFormat||MultipleInputFormat和org.apache.hadoop.mapred.lib.MultipleOutputs||MultipleInputsMultipleOutputFormat allowing to write the output

1.MapReduce中数据流动（1）最简单的过程：  map - reduce（2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce（3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -reduce自定义一个分区方案，默认通