Hadoop Streaming自带参数解析

排序、hash分组、压缩格式、内存设定
-Option：

1. -input：输入文件路径
2. -output：输出文件路径
3. -mapper：用户自己写的mapper程序，可以是可执行文件或者脚本
4. -reducer：用户自己写的reducer程序，可以是可执行文件或者脚本
5. -file：打包文件到提交的作业中，可以是mapper或者reducer要用的输入文件，如配置文件，字典等，将客户端本地文件打成jar包上传到HDFS然后分发到计算节点。
6. -cacheFile hdfs://host:port/path/to/file#linkname 分发HDFS文件到本地。在计算节点缓存文件，Streaming程序通过./linkname在本地访问文件
7. -cacheArchive <file> Optional 指定一个上传到HDFS的jar文件，这个jar文件会被自动解压缩到当前工作目录下
8. -partitioner：用户自定义的partitioner程序
9. -combiner：用户自定义的combiner程序（必须用java实现）
10. -cluster name：在本地Hadoop集群与一个或多个远程集群间切换
11. -additionalconfspec specfile ：用一个类似于hadoop-site.xml的XML文件保存所有配置，从而不需要用多个"-D name=value"类型的选项单独为每个配置变量赋值
12. -numReduceTasks <num> Optional reduce任务个数
13. -combiner Combiner聚合类，对map的输出进行本地聚合，对map端的输出 先做一次合并 ，以 减少在map和reduce节点之间的数据传输量 ，以 提高网络IO性能 ，是MapReduce的一种 优化手段之一
14. -cmdenv <n>=<v> 传给mapper和reducer的环境变量
15. -mapdebug mapper 失败时运行的debug程序
16. -reducedebug reducer失败时运行的debug程序
17. -verbose Optional 详细输出模式
18. -D作业配置
    mapred.job.name作业名
    mapred.job.priority 作业优先级
    mapred.job.map.capacity 最多同时运行map任务数
    mapred.job.reduce.capacity 最多同时运行reduce任务数
    hadoop.job.ugi 作业执行权限
    mapred.map.tasks map任务个数
    mapred.reduce.tasks reduce任务个数 
    mapred.job.groups 作业可运行的计算节点分组
    mapred.task.timeout 任务没有响应（输入输出）的最大时间
    stream.non.zero.exit.is.failure=true #任务失败重启
    mapred.compress.map.output map的输出是否压缩
    mapred.map.output.compression.codec map的输出压缩方式
    stream.map.output.field.separator 指定map输出时的分割符
    stream.num.map.output.key.fields=4 指定map输出按照分隔符切割后，key所占有的列数
    mapred.output.compress reduce的输出是否压缩
    mapred.output.compression.type：压缩类型，有NONE, RECORD和BLOCK，默认值RECORD。
    mapred.output.compression.codec reduce的输出压缩方式, 默认值org.apache.hadoop.io.compress.DefaultCodec
    stream.reduce.output.field.separator 指定reduce输出时的分割符
    stream.num.reduce.output.key.fields 指定输出按照分隔符切割后，key所占有的列数
    map.output.key.field.separator=. #分桶分隔符：指定map输出<key,value>对之后，其中key内部的分割符
    num.key.fields.for.partition=2 #指定分桶时，按照分隔符切割后，用于分桶key所占的列数
    mapred.job.reduce.memory.mb #每个map Task需要的内存量
    mapred.job.reduce.memory.mb #每个reduce Task需要的内存量
    mapreduce.job.reduce.slowstart.completedmaps 当Map Task完成的比例达到该值后才会为Reduce Task申请资源，默认是0.05
    mapreduce.job.running.map.limit  单个任务并发的最大map数，0或负数没有限制
    mapreduce.job.running.reduce.limit  单个任务并发的最大reduce数，0或负数没有限制
    mapreduce.job.max.map  单个任务允许的最大map数，-1表示没有限制
     

常见的例子：

按照前四位进行排序，前两列进行分组
 -D stream.map.output.field.separator=. \
 -D stream.num.map.output.key.fields=4 \
 -D map.output.key.field.separator=. \
 -D mapreduce.partition.keypartitioner.options=-k1,2 \

merge合并输出的小文件们

set hive.merge.mapfiles = true #在Map-only的任务结束时合并小文件
set hive.merge.mapredfiles = true #在Map-Reduce的任务结束时合并小文件
set hive.merge.size.per.task = 256*1000*1000 #合并文件的大小
set hive.merge.smallfiles.avgsize=16000000 #当输出文件的平均大小小于该值时，启动一个独立的map-reduce任务进行文件merge

提交任务样例：

        
        # 定义输入输出
        input=hdfs://test-hdfs/input
        output=hdfs://test-hdfs/output
        
        hadoop jar hadoop-streaming-2.6.0-cdh5.14.2.jar \
        -D mapreduce.job.queuename="root.default" \
        -D mapred.output.key.comparator.class=org.apache.hadoop.mapred.lib.KeyFieldBasedComparator \
        -D mapreduce.job.reduces=50 \
        -D mapreduce.job.maps=300 \
        -D mapred.job.reduce.capacity=50 \
        -D mapreduce.job.running.map.limit = 50 \ 
        -D mapred.job.map.capacity=300 \
        -D stream.num.map.output.key.fields=2 \
        -D mapred.text.key.partitioner.options="-k2,2" \
        -D mapreduce.map.output.key.field.separator=\t \
        -D mapred.text.key.comparator.options="-k2,2" \
        -D mapreduce.job.name=$JobName \
        -D mapreduce.job.priority=HIGH \
        -D mapred.map.over.capacity.allowed=true \
        -D mapred.reduce.over.capacity.allowed=true \
        -D abaci.split.optimize.enable=true \
        -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \
        -cacheArchive hdfs://test-hdfs/tmp/tools/python2.7.tar.gz\#python2.7 \
        -mapper "sh python2.7/bin/python27.sh mapper.py " \
        -reducer "sh python2.7/bin/python27.sh reducer.py " \
        -input $input \
        -output $output \
        -file mapper.py \
        -file reducer.py

 

作者：analanxingde
链接：https://www.jianshu.com/p/ce0c14190f6f
来源：简书