Hadoop Streaming 实战： 实用Partitioner类KeyFieldBasedPartitioner

我们知道，一个典型的Map-Reduce过程包括：Input->Map->Patition->Reduce->Output。Pation负责把Map任务输出的中间结果按key分发给不同的Reduce任务进行处理。Hadoop 提供了一个非常实用的partitioner类KeyFieldBasedPartitioner，通过配置相应的参数就可以使用。通过KeyFieldBasedPartitioner可以方便地实现二次排序。
使用方法：
      -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner
一般配合：
      -D map.output.key.field.separator及-D num.key.fields.for.partition使用。
map.output.key.field.separator指定key内部的分隔符
      num.key.fields.for.partition指定对key分出来的前几部分做partition而不是整个key

示例：
1. 编写map程序mapper.sh；reduce程序reducer.sh; 测试数据test.txt

[html] view plain copy

1. mapper.sh:  
2. #!/bin/sh  
3. cat  
4.   
5. reducer.sh:  
6. #!/bin/sh  
7. sort  
8.   
9. test.txt内容：  
10. 1,2,1,1,1  
11. 1,2,2,1,1  
12. 1,3,1,1,1  
13. 1,3,2,1,1  
14. 1,3,3,1,1  
15. 1,2,3,1,1  
16. 1,3,1,1,1  
17. 1,3,2,1,1  
18. 1,3,3,1,1  

2. 测试数据test.txt放入hdfs，运行map-reduce程序

[html] view plain copy

1. $ hadoop streaming /  
2.   -D stream.reduce.output.field.separator=, /  
3.   -D stream.num.reduce.output.key.fields=4 /  
4.   -D map.output.key.field.separator=, /  
5.   -D num.key.fields.for.partition=2 /  
6.   -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner /  
7.   -input /app/test/test.txt  /  
8.   -output /app/test/test_result /   
9.   -mapper ./mapper.sh  /  
10.   -reducer ./reducer.sh /  
11.   -file mapper.sh /  
12.   -file reducer.sh /  
13.   -jobconf mapre.job.name="sep_test"  
14.   
15. $ hadoop fs –cat /app/test/test_result/part-00003  
16.     1,2,1,1     1  
17.     1,2,2,1     1  
18.     1,2,3,1     1  
19.   
20. $ hadoop fs –cat /app/test/test_result/part-00004  
21.     1,3,1,1     1  
22.     1,3,1,1     1  
23.     1,3,2,1     1  
24.     1,3,2,1     1  
25.     1,3,3,1     1  
26.     1,3,3,1     1  

通过这种方式，就做到前4个字段是key，但是通过前两个字段进行partition的目的