Yohohaha的博客

在hadoop中，在map方法结束写出数据的时候需要对数据进行分区，具体分区实现由Partitioner类提供，而Partitioner类的加载逻辑如下： partitions = jobContext.getNumReduceTasks(); if (partitions > 1) { // 设置的分区数（即reduce task的个数）大于1，则使用设置的分区类 partitioner = (org.apache.hadoop.mapreduce.Partitioner<K,V&gt

hadoop mapreduce加载ClientProtocol(JobRunner)使用了spi机制，具体方法在Cluster#initialize。它会使用frameworkLoader加载ClientProtocolProvider，在hadoop的jar包里配置了两个实现类： org.apache.hadoop.mapred.YarnClientProtocolProvider，配置文件见~\.m2\repository\org\apache\hadoop\hadoop-mapreduce-cli