Hadoop Streaming 实战： bash脚本

streaming支持使用脚本作为map、reduce程序。以下介绍一个实现分布式的计算所有文件的总行数的程序

   1. 待检索的数据放入hdfs 
       $ hadoop fs -put localfile /user/hadoop/hadoopfile

   2. 编写map、reduce脚本,记得给脚本加可执行权限。 
       mapper.sh       

view plain

1. #!/bin/sh   
2. wc –l  

 

       reducer.sh 

view plain

1. #!/bin/sh   
2. sum=0   
3. while read i   
4. do   
5.         sum=$((sum+i))   
6. done   
7. echo $sum  

 

   3. 运行： 
hadoop jar /home/hadoop/hadoop/contrib/streaming/hadoop-0.20.2-streaming.jar -input data/pg4300.txt -output out13 -mapper ./mapper.sh -reducer ./reducer.sh -file mapper.sh -file reducer.sh -jobconf mapre.job.name="grep-test" -jobconf stream.non.zero.exit.is.failure=false -jobconf mapred.reduce.tasks=1    

        
         说明： 
           -input  /user/hadoop/hadoopfile ： 待处理文件目录 
           -output /user/hadoop/result   ：处理结果存放目录 
            -file  ：分发mapper.sh和reducer.sh到hdfs中 
            -jobconf mapred.reduce.tasks=1 : reduce任务数 

   3.  查看结果： 
        $ hadoop fs –cat /user/hadoop/result/part-00000