【MapReduce】总集

学习MapReduce的阶段性总结，开个坑，慢慢更新

MapReduce已经预定义（或者说写好）了整个数据分析的流程，所以只按照相应的要求把业务需求融入进去就好。但是程序员就是放荡不羁爱自由。实际业务中的需求也是千奇百怪，所以我们在按照MapReduce的流程走的同时，针对具体的各个环节是可以自定义的。

从Map阶段开始，可以采用不同的input的方式（TextInputFormat（默认），CombineTextInputFormat（针对小文件过多的情形），KeyValueTextInputFormat（K-V形式的源数据），NLineInputFormat（多行确定数据的））还可以自定义InputFormat（主要是自定义RecordReader，主要是重写nextKeyValue()，决定K和V）

进入Reduce阶段之前，还有shuffle阶段，可以自定义分区的方式（Partitioner），可以自定义排序（WritableComparable），还可以在自定义排序的基础上分组（GroupingComparator），同时还可以选择是否要提前合并一下分区的数据（Combiner）以加快Reduce的运行