Hadoop 多输入和多输出研究(如何在Job History中获取相关信息)

leishenop

于 2017-05-11 17:39:15 发布

阅读量608

点赞数

分类专栏： HDFS 文章标签： hadoop

本文链接：https://blog.youkuaiyun.com/leishenop/article/details/71646528

版权

本文详细探讨了Hadoop中的多输入和多输出操作。通过FileInputFormat实现多输入，所有输入路径共享同一Mapper；而MultipleInputs允许为每个路径配置不同的InputFormat和Mapper。在Job History中，可以找到相关配置以获取输入路径。在Reduce阶段，MultipleOutputFormat使得能按需将数据输出到不同目录或文件，便于后续分析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Hadoop FileInputFormat多输入

使用FileInputFormat来指定多个输入.当我们使用

FileInputFormat.setInputPaths(JobConf conf, Path... inputPaths)
FileInputFormat.addInputPaths(JobConf conf, String commaSeparatedPaths)

来设定有多个输入路径的时候，首先第一点，这多个输入路径都是使用的同一个Mapper来运行。然后配置参数中，key是”mapreduce.input.fileinputformat.inputdir”,不同的输入路径通过”,”来进行分割的多个路径。所以，这种情况下的多输入可以在Job History的已经完成的Job的配置文件里面，来查找”mapreduce.input.fileinputformat.inputdir”的标签对应的值，然后通过”,”来进行分割就可以找到输入。

通过程序代码的测试,下面是我通过FileInputFormat来设置多个输入路径在配置文件中的值。
程序中的部分代码:

 FileInputFormat.setInputPaths(job,new Path("/tmp/data1.txt"),new   Path("/tmp/data2.txt"),

最低0.47元/天解锁文章