MapReduce源码理解

  看了一下源码，还是记录一下。看到后面又忘了，又得回过头来看。先写一点MapReduce的，记录一下。
  将hadoop-1.0.4的源码导入到Eclipse中，有一个包是src/mapred,这个包里面包含了以前旧的mapreduce的接口和新的mapreduce抽象类,org.apache.hadoop.mapreduce是新的包，里面包括了Mapper，Reducer，Context，Partitioner，Job，RecordReader，RecordWriter等父类及其相关类。
  主要写一下类的继承关系以及大概的使用方法，参考了一些书，讲的是其运行原理，但是功夫尚浅，还没从代码层面理解框架，待日后再写。

1. Mapper类

   先说Mapper类，要实现自己的Mapper类，就必须继承自Mapper类(不是抽象类)，它的参数是

private RecordReader<KEYIN,VALUEIN> reader;
private InputSplit split;

public MapContext(Configuration conf, TaskAttemptID taskid,
                    RecordReader<KEYIN,VALUEIN> reader,
                    RecordWriter<KEYOUT,VALUEOUT> writer,
                    OutputCommitter committer,
                    StatusReporter reporter,
                    InputSplit split) {
    super(conf, taskid, writer, committer, reporter);
    this.reader = reader;
    this.split = split;
  }

方法有：
public InputSplit getInputSplit(){return split;}
KEYIN getCurrentKey(){return reader.getCurrentKey();}
VALUEIN getCurrentValue() {return reader.getCurrentValue();}
boolean nextKeyValue(){return reader.nextKeyValue();}
从这里可以看出MapContext类是Context类的具体的实现，只由Context的对象调用继承的属性和方法即可得到框架中的东西。从这四个方法可以得到它的分片信息、当前的键、当前的值、以及下一个键值对。这是通过上面属性中RecordRe 1. Reducer类
Reducer类是在Mapper类处理得到结果之后再进行处理的类，它里面的函数和Mapper类差不多，有四个函数和一个Context内部类(该类和Mapper类中的Context类是不同的)：
setup(Context context) 在task运行之前调用，调用一次
reduce(KEYIN key, Iterable values, Context context)这个函数是对相同的键进行遍历处理。
cleanup(Context context)在task运行之后调用，调用一次
run(Context context);先调用setup函数，再调用reduce函数，最后调用cleanup函数，可以控制Reduce的运行，高级使用
public class Context
extends ReduceContext<KEYIN,VALUEIN,KEYOUT,VALUEOUT> {
public Context(Configuration conf, TaskAttemptID taskid,
RawKeyValueIterator input,
Counter inputKeyCounter,
Counter inputValueCounter,
RecordWriter<KEYOUT,VALUEOUT> output,
OutputCommitter committer,
StatusReporter reporter,
RawComparator<KEYIN> comparator,
Class<KEYIN> keyClass,
Class<VALUEIN> valueClass
) throws IOException, InterruptedException {
super(conf, taskid, input, inputKeyCounter, inputValueCounter,
output, committer, reporter,
comparator, keyClass, valueClass);
}
}
从这里可以看出，Context可以获得框架中的东西，Context继承的是ReduceContext，下面介绍一下ReduceContext。
2. ReduceContext
该类也是继承自TaskInputOutputContext，它的构造函数和上面的构造函数是一样的，思想也和MapContext的差不多，里面通过函数获得下一个值，主要的函数有：
boolean nextKey()，
boolean nextKeyValue()
KEYIN getCurrentKey()
VALUEIN getCurrentValue()
也是ReduceContext已经实现好的，Context的对象可以直接调用。
5. Context
Context类有一个专门设计的继承关系，各个层级和框架的不同级别的类在打交道，下面再介绍。