Hadoop的M-R中间任务分配

Hadoop中，JobTracker会定期与tasktracker保持心跳。tasktracker会告知JobTracker是否上面有task在工作。如果没有，JobTracker会从task的队列中取出一个task交给相应的tasktracker。这个reducetask的ID，是key的hash得来。Hash后的，还是保存在本地，各有各ID，然后一个tasktracker得到一个task后，会把其他机器上有其ID的数据取走。