Hadoop源码流程分析4-Task节点执行任务

上节介绍了Task节点向Master节点发送心跳信号，从而接收任务，然后部署和启动任务，本节介绍Task节点具体的执行任务的过程。首先，Task节点根据任务的类型，执行MapTask.run()或者ReduceTask.run()这两个方法，下面分别介绍。

 

1.     MapTask.run();

主要代码：

initialize(job, getJobID(), reporter, useNewApi);

......

if (useNewApi) {

       runNewMapper(job, split,umbilical, reporter);

} else {

       runOldMapper(job, split,umbilical, reporter);

}

这里主要包括两个关键块：一个是initialize这里会根据预设的OutputFormat来格式输出，然后就是从runNewMapper()或runOldMapper()处执行map任务。

用runNewMapper举例：首先程序先生成任务的map类，然后生成map任务的数据输入格式类，并根据我们的数据输入格式将我们的这块的数据分割成我们的指定的输入数据就是RecordReader，然后将RecordReader作为输入循环调用map类中的map()方法，也就是我们的客户端的主体map方法。

 

2.     ReduceTask.run();

       首先与map的开始过程一样，会调用initialize()方法，根据预设的OutputFormat来格式输出。

       然后，比map阶段多了一些操作。如果是本机运行程序，reduce的数据会在操作前利用Merge函数合并一下；如果是在集群上运行，那么reduce的数据先进行Combine和Shuffle。

       最后从runNewReducer()或runOldReducer()处执行map任务。首先程序先生成任务的reduce类，生成key、value数据对遍历对象，然后循环执行Reducer.reduce()方法，结果上传到fs中。