Tracyhuixingfu的专栏

单个reducer的默认设置对Hadoop新手而言很容易上手。真实的应用中，作业都把它设置成一个较大的数字，否则由于所有的中间数据都会放到一个reducer任务中，从而导致作业效率极低。注意，在本地作业运行器上运行时，只支持0个或1个reducer。         reducer最优个数与集群中可用的reducer任务槽数有关。总槽数由集群中节点数与每个节点的任务槽数相乘得到。该值由map

作业的调度         早期版本中按照作业提交的顺序，使用FIFO调度算法来运行作业。         随后，加入设置作业优先级的功能，可以通过设置mapred.job.priority属性货JobClient的setJobPriority()方法来设置优先级。作业调度器选择要运行的下一个作业时，它选择的是优先级最高的那个作业。然而，优先级并不支持抢占，所以高优先级的作业仍然会