MapReduce编程模型及优化技巧

（一）MapReduce 编程模型

（备注：如果你已经了解MapReduce 编程模型请直接进入第二部分MapReduce 的优化讲解）
　在学习MapReduce 优化之前我们先来了解一下MapReduce 编程模型是怎样的？　下图中红色的标注表示没有加入Combiner和Partitioner来进行优化。
　
上图的流程大概分为以下几步。

　 　第一步：假设一个文件有三行英文单词作为 MapReduce 的Input（输入），这里经过 Splitting 过程把文件分割为3块。分割后的3块数据就可以并行处理，每一块交给一个 map 线程处理。
　　 第二步：每个 map 线程中，以每个单词为key，以1作为词频数value，然后输出。
　　 第三步：每个 map 的输出要经过 shuffling（混洗），将相同的单词key放在一个桶里面，然后交给 reduce 处理。

　　第四步：reduce 接受到 shuffling 后的数据， 会将相同的单词进行合并，得到每个单词的词频数，最后将统计好的每个单词的词频数作为输出结果。

　　 上述就是 MapReduce 的大致流程，前两步可以看做 map 阶段，后两步可以看做 reduce 阶段。下面我们来看看 MapReduce 大致实现。

　　　 1、Input：首先 MapReduce 输入的是一系列key/value对。key表示每行偏移量，value代表每行输入的单词。

　　　2、用户提供了 map 函数和 reduce 函数的实现：

map(k,v) ——> list(k1,v1)
reduce(k1,list(v1)) ——>(k2,v2)

　　 map 函数将每个单词转化为key/value对输出，这里key为每个单词，value为词频1。(k1,v1)是 map 输出的中间key/value结果对。reduce 将相同单词的所有词频进行合并，比如将单词k1，词频为list(v1)，合并为(k2,v2)。reduce 合并完之后，最终输出一系列(k2,v2)键值对。

下面我们来看一下 MapReduce 的伪代码。

---

map(key,value)://map 函数，key代表偏移量，value代表每行单词
for