贾亮的专栏

@Distributed Cache in Hadoop Distributed Cache in Hadoop Distributed Cache是Hadoop MapReduce提供的一个工具。它可以给我们的Worker(Map/Reduce Jobs)提供cache数据。这些数据可以是文本，压缩文件，jar文件等。一旦我们班cache文件配置好都，Hadoop会确保我们的Workder在各个...

MultipleOutputs，说白了就是你想在Reduce中，将结果写到不同的文件中去的时候，来用的。 看看Hadoop的官网的例子和解释： 我们的Driver代码中使用到了MultipleOutputs，并且配置了两个输出前缀，分别是seq额text。 Job job = new Job(); FileInputFormat.setInputPath(job, inDir); File...

RecordReader and InputFormat vs OutputFormat and RecordWriter InputFormat从HDFS中读取文件，InputFormat abstract类中有一个方法是getSplits，会返回这么文件要分成几个InputSplit。一般来说一个InputSplit会对应的一个Map task上去。 每个Map task会通过Recor...

partitioner用来控制map task的中间输出记录的所处的分组的。 partitioner的接口如下： abstract int getPartition(KEY key, VALUE value, int numPartitions) 通常我们使用Record的key来计算分组的值，计算方法一般是hash。 分组的总数和reduce task的个数一样，如果reduce task的...