The Big Data Way

hadoop版本：CDH3u2     hadoop 中生成har文件是通过mapred job实现的，这个主要的class是“HadoopArchives.java”，它是tools包里面的一个类。这个类有800多行code，包含map reduce 自定义的inputformat和其它辅助方法，细读起来还需要花点时间。    一个har job命令行举例： # 归档"/fc/src...

前言     Hadoop二次排序简单说就是先根据字段A分组排序，然后在对组内根据字段B排序。Hadoop二次排序在面试的时候出现频率也是比较高的。今天花了点时间通过源码深入学习了一下。（后面内容以Hadoop自带实例——SecondarySort讲解，见本文附录）     Hadoop默认是根据reduce key排序，通过Hadoop二次排序可以实现根据value值（需要将其放入复合k...

  MapTask.runNewMapper() ->   ...   if (job.getNumReduceTasks() == 0) {       // 无reduce，直接写HDFS       // 这个writer输出时不执行Partitioner.getPartition()方法      output =  new NewDirectOutputCollec...