详解MapReduce全过程

        写在开头：MapReduce应该是在我刚开始学习Hadoop和hive的时候就已经学习过的数据处理的过程，最近由于学到了spark，也是同样基于相同流程设计出的组件，觉得也是有必要进行一次流程上的梳理，以便自己可以更好的理解整个过程，更好的理解整个大数据框架数据处理的过程。

        总的来说，MapReduce的过程可以被分成两个部分，第一部分是map端，负责数据的处理，第二部分是reduce端，负责数据处理和计算，另外也常听到shuffle的部分，这一部分我认为是可以被涵盖在mapreduce之中的，所以我就并不展开来讲，而是放在最后进行总结。

以上是mapreduce流程图。

一、Map过程

        首先，需要读取hdfs中的数据，然后通过InputFormat类对数据进行切片。这里默认一个切片是128Mb，如果文件大小不到128Mb，那么会产生一个切片，大小就是文件本身的大小，多了也同理。一个block块对应一个切片。再通过RecordReader类将每个切片解析成一个个<k1,v1>。这个时候map端的前期准备工作就OK了，接下来就需要调用Map端的map()方法，这里的map方法可以由我们程序员自己进行实现以达到我们自己想要的需求。

        举个简单的例子，如果我们想实现一个聚合的操作，就可以自己定