MapReduce机制

MapReduce作业执行主要包括map、reduce 及shuffle过程，shuffle可以认为是从map数据到reduce端的这段过程。

map阶段实现了map()函数，将输入的<key,value>键值对进行处理，生成中间<key,value>结果。默认情况下，不做任何处理，直接将输入的<key,value>输出。

reduce阶段实现了reduce()函数，经过处理生成最终结果输出。默认情况下，不做任何处理，直接将从map端接收的数据作为输出。

shuffle阶段实现了getpatition()函数，并根据key、value和reduce task的数量，将map任务与reduce任务映射，把map任务生成的中间结果有效地传送到reduce端。默认情况下是对key hash（以key为种子，生成随机数作为hash值）后，对reduce task数量取模作为映射值到reduce的值。