MapReduce工作笔记——Streaming多路输出

---

MapReduce工作笔记 系列目录：MapReduce工作笔记——目录

---

多路输出

加入如下命令：

-outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat \   
-jobconf suffix.multiple.outputformat.filesuffix=file_path_1,file_path_2  \             
-jobconf suffix.multiple.outputformat.separator="#" \                        

1. 指定outputformat org.apache.hadoop.mapred.lib.SuffixMultipleTextOutputFormat
2. 指定输出文件名的前缀，所有需要输出的文件名必须通过该参数配置，否则job会失败
3. 设置value与文件名的分割符，默认为“#”，如果value本身含有“#”，框架会自动匹配至最后一个分隔符，用户亦可通过该参数重新设置其他的分隔符。

注：

1. 上面三个是必须参数，否则会报错
2. 当value为空时要在key值与"suffix.multiple.outputformat.separator"之间补充一个\t分隔符
<